Wie wir die Qualität von Survey Coding messen
Zuletzt gemessen: 16. November 2026 · Modell s1-fast-2 (Decision-Models-API, EU-Tier) · Beta
Survey Coding stellt dem Modell pro Antwort und Code eine Ja/Nein-Frage („Nennt oder drückt die Antwort dieses Thema aus?“) und erhält eine Wahrscheinlichkeit zurück. Unsichere Antworten werden für Ihre Prüfung markiert – die Entscheidung liegt bei Ihnen.
Was wir gemessen haben
Gemessen auf zurückgehaltenen Testdaten, die weder das Modell noch unsere Einstellungen beim Abstimmen gesehen haben:
| Datensatz | Antworten | Codes | Mikro-F1 der Modellvorschläge (nach Kalibrierung mit 40 Antworten) | Zur Prüfung markiert | Mikro-F1 nach Prüfung der markierten Antworten |
|---|---|---|---|---|---|
| Synthetisch: NPS-Begründungen (SaaS), EN | 350 | 12 | 0,95 | 22 % | 0,98 |
| Synthetisch: NPS-Begründungen (Onlineshop), DE | 350 | 12 | 0,98 | 7 % | 0,99 |
| Synthetisch: Mitarbeiterbefragung, EN | 350 | 12 | 0,95 | 26 % | 0,99 |
| Synthetisch: Mitarbeiterbefragung, DE | 350 | 12 | 0,97 | 13 % | 0,99 |
| MAMS-Restaurantbewertungen (von Menschen annotiert), EN | 400 | 8 | 0,67 | 86 % | 0,97 |
Mikro-F1 fasst Präzision (vorgeschlagene Codes, die stimmen) und Trefferquote (richtige Codes, die vorgeschlagen wurden) über alle Code-Entscheidungen zusammen; 1,00 hieße, dass jede Entscheidung mit den Referenzcodes übereinstimmt.
Kalibrierung mit 40 Antworten bietet die App bei Projekten ab 150 Antworten an: Sie prüfen 40 zufällig gewählte Antworten, die App passt ihre Schwellenwerte an Ihre Entscheidungen an und codiert dann den Rest. In der Messung übernahmen die Referenzcodes die Rolle der prüfenden Person; angegeben ist der Mittelwert über 20 Zufallsstichproben zu je 40 Antworten.
Wie die Datensätze entstanden sind – bitte vor jedem Vergleich lesen
- Synthetische Datensätze (4): Antworten auf typische Umfragefragen (NPS-Begründung, Mitarbeiterbefragung; Englisch und Deutsch), von einem Sprachmodell zu vorgegebenen Codes geschrieben – kurz und lang, mit Tippfehlern, Ironie und Verneinungen. Wir haben eine Antwort nur behalten, wenn ein unabhängiges zweites Modell genau dieselben Codes vergab. Die Codes stammen also nicht von Menschen, und der Filter entfernt mehrdeutige Antworten: Echte Umfragedaten sind schwieriger.
- MAMS (öffentlich, von Menschen annotiert): Sätze aus Restaurantbewertungen mit 8 Aspektkategorien; jeder Satz enthält zwei oder mehr Aspekte, darunter eine Sammelkategorie „Sonstiges“ (Jiang u. a., 2019, Apache-2.0). Bei diesen schwierigeren Daten markiert die App die meisten Antworten zur Prüfung.
- Ihre Uploads verwenden wir nie für Messungen, Prompt-Abstimmung oder Training.
Was das für Sie bedeutet
Ihre Daten können abweichen. Testen Sie mit dem kostenlosen Kontingent (bis 500 Antworten) und dem Kalibrierungsschritt, wie das Modell mit Ihrem eigenen Codeplan zurechtkommt, bevor Sie sich darauf verlassen. Alle Modellvorschläge sind KI-generiert; Sie prüfen die endgültigen Codes und verantworten sie.