Benchmarks · Quellen und Methode
Benchmark-Quellen und Methode
Ein Benchmark allein zeigt nicht die ganze Leistung. Dieser Vergleich gibt jeder Quelle denselben Platz und nennt auch fehlende Ergebnisse. Er zeigt das Referenzmodell von TypeSafe, nicht die Modelle von Decision Models.
| Referenzmodell | Decision Index0.2.1Zufallsbereinigter Index / 100Unabhängige Community · apolinario (@multimodalart) auf Hugging Face | Workflow EvalsDatensätze 2026-09-28 · Code 0ac3b8aÜbereinstimmung mit ModellreferenzenTypeSafe · Referenzanbieter | Jev Rerank Bench2026-09-25Datensatz-Mittel nDCG@10 / 1Unabhängiger Autor | JevBench1.5.1Gesamtwertung / 100Derselbe Gründer wie Decision Models | ImageJevBench0.1.4Gesamtwertung / 100Derselbe Gründer wie Decision Models |
|---|---|---|---|---|---|
| TypeSafe-ReferenzJev 1.13.0 | 57,91 | 67,8 | 0,670 | 72,13 | Nicht gemessen¹ |
¹ Nicht gemessen bedeutet: Für dieses Modell wurde keine vergleichbare veröffentlichte Messung verifiziert; es ist kein Nullwert. Die Tabelle zeigt veröffentlichte Ergebnisse des TypeSafe-Referenzmodells, keine Werte der Modelle von Decision Models und keine Messung des Decision-Models-Dienstes.
Hinweis: JevBench und ImageJevBench werden vom Gründer von Decision Models betrieben. Workflow Evals wird von TypeSafe AI veröffentlicht, dem Anbieter des Referenzmodells. Es misst Übereinstimmung mit Modellreferenzen, keine Genauigkeit gegen menschliche Labels. Keine Gesamtwertung bei unvollständiger vergleichbarer Abdeckung. Methode und Quellen →
Gleich gewichtet, mit sichtbaren Lücken
Alle fünf Benchmarks erhalten gleich breite Spalten und dieselbe Gestaltung. Die angegebenen Einheiten bleiben getrennt: Index, Referenzübereinstimmung, nDCG und Gesamtwert sind unterschiedliche Messgrößen. Untermetriken oder Modellkarten mit denselben Daten zählen nicht als zusätzliche Stimmen.
Es gibt keine Gesamtwertung, weil eine gemeinsame Menge vergleichbarer Messungen fehlt. Falls später eine Gesamtwertung erscheint, wird sie das ungewichtete arithmetische Mittel einer vorab benannten gemeinsamen Benchmark-Menge sein: Mittelwert(100 × Wert / Skala). Fehlende Werte werden nicht stillschweigend ausgelassen oder als null behandelt. Bereits erfolgte Zufallsbereinigung bleibt erhalten.
Was diese Seite nicht zeigt
Die Tabelle enthält nur veröffentlichte Ergebnisse des TypeSafe-Referenzmodells. Sie zeigt keine Werte für den Decision-Models-Dienst oder für die Modelle hinter s1-fast, s1-pro und s1-vision.
Quellen und Grenzen
Decision Index · 0.2.1
38 Index-Benchmarks in fünf Bereichen, zufallsbereinigt und nach Abdeckung angepasst. Der Wert ist das Ergebnis der TypeSafe-Referenz auf dem Board; es ist kein Lauf des Decision-Models-Dienstes.
Primärquelle → · Originaldaten → · Stand: 2026-09-28. Geprüft: 2026-09-30.
Workflow Evals · Datensätze 2026-09-28 · Code 0ac3b8a
Vier öffentliche Workflow-Datensätze, 705 Fälle. Der Jev-Wert ist das ungewichtete Mittel der ersten veröffentlichten Kennzahl pro Workflow gegen Konsenslabels: Rechnungen und Kundendienst verwenden exakte Aktionsmengen (accuracy), Sicherheitsvorfälle exakte Aktionsmengen (agreement), Agenten-Traces die primäre Aktion (disposition). Referenzmodus: alle Fragen, ohne Reasoning. Die Referenzen kombinieren Antworten großer Modelle, teils mit Ersatzmodellen; keine menschlichen Goldlabels. Code und Daten sind öffentlich.
Primärquelle → · WorkflowEvals-Code → · Öffentliche Datensätze → · Stand: 2026-09-28. Geprüft: 2026-09-30.
Jev Rerank Bench · 2026-09-25
Acht englische Retrieval-Datensätze, 1.617 gewertete Fragen. Der Wert verwendet die Ja/Nein-Methode pro Paar. Trainingsüberschneidungen mit öffentlichen Datensätzen lassen sich nicht ausschließen. nDCG misst Rangqualität, keine Klassifikationsgenauigkeit. Die Referenz hat außerdem eine stärkere mehrstufige Batch-Konfiguration; der gezeigte Wert ist daher nicht die Leistungsgrenze des Referenzmodells.
Primärquelle → · Stand: 2026-09-25. Geprüft: 2026-09-30.
JevBench · 1.5.1
Veröffentlichte Version 1.5.1. Der Gesamtwert gewichtet Intelligenz, Kalibrierung, Geschwindigkeit und Kosten intern gleich. Dieser Vergleich nutzt nur veröffentlichte Aggregatwerte; kein Text versiegelter Aufgaben wurde dafür verwendet. Die TypeSafe-Referenz verwendet beobachtete API-Zeiten und Listenpreise. Keine Messung des Decision-Models-Dienstes.
Primärquelle → · Originaldaten → · Stand: 2026-09-29. Geprüft: 2026-09-30.
ImageJevBench · 0.1.4
Öffentliche Version 0.1.4, 50 Systeme. Für TypeSafe Jev 1.13.0 gibt es keine vergleichbare Bildzeile. Ergebnisse anderer Bildmodelle werden nicht eingesetzt. Die zurückgehaltene Version 0.2 wird nicht verwendet.
Primärquelle → · Stand: 2026-09-29. Geprüft: 2026-09-30.
Zurück zu den Benchmark-Ergebnissen unserer Modelle → · Eigene Messungen und Rohdaten →