Wie wir die Qualität von Survey Coding messen

Zuletzt gemessen: 16. November 2026 · Modell s1-fast-2 (Decision-Models-API, EU-Tier) · Beta

Survey Coding stellt dem Modell pro Antwort und Code eine Ja/Nein-Frage („Nennt oder drückt die Antwort dieses Thema aus?“) und erhält eine Wahrscheinlichkeit zurück. Unsichere Antworten werden für Ihre Prüfung markiert – die Entscheidung liegt bei Ihnen.

Was wir gemessen haben

Gemessen auf zurückgehaltenen Testdaten, die weder das Modell noch unsere Einstellungen beim Abstimmen gesehen haben:

Datensatz Antworten Codes Mikro-F1 der Modellvorschläge (nach Kalibrierung mit 40 Antworten) Zur Prüfung markiert Mikro-F1 nach Prüfung der markierten Antworten
Synthetisch: NPS-Begründungen (SaaS), EN 350 12 0,95 22 % 0,98
Synthetisch: NPS-Begründungen (Onlineshop), DE 350 12 0,98 7 % 0,99
Synthetisch: Mitarbeiterbefragung, EN 350 12 0,95 26 % 0,99
Synthetisch: Mitarbeiterbefragung, DE 350 12 0,97 13 % 0,99
MAMS-Restaurantbewertungen (von Menschen annotiert), EN 400 8 0,67 86 % 0,97

Mikro-F1 fasst Präzision (vorgeschlagene Codes, die stimmen) und Trefferquote (richtige Codes, die vorgeschlagen wurden) über alle Code-Entscheidungen zusammen; 1,00 hieße, dass jede Entscheidung mit den Referenzcodes übereinstimmt.

Kalibrierung mit 40 Antworten bietet die App bei Projekten ab 150 Antworten an: Sie prüfen 40 zufällig gewählte Antworten, die App passt ihre Schwellenwerte an Ihre Entscheidungen an und codiert dann den Rest. In der Messung übernahmen die Referenzcodes die Rolle der prüfenden Person; angegeben ist der Mittelwert über 20 Zufallsstichproben zu je 40 Antworten.

Wie die Datensätze entstanden sind – bitte vor jedem Vergleich lesen

Was das für Sie bedeutet

Ihre Daten können abweichen. Testen Sie mit dem kostenlosen Kontingent (bis 500 Antworten) und dem Kalibrierungsschritt, wie das Modell mit Ihrem eigenen Codeplan zurechtkommt, bevor Sie sich darauf verlassen. Alle Modellvorschläge sind KI-generiert; Sie prüfen die endgültigen Codes und verantworten sie.

Gemessene Qualität