Ein Modellvergleich beginnt mit einer konkreten Aufgabe: Was haben wir gefordert, und hat das Ergebnis die Anforderungen erfüllt? Wir testen KI-Modelle auf GlobalGPT mithilfe der GlobalGPT-CLI. Ausnahmen werden im entsprechenden Artikel aufgeführt.
Die KI überprüft die Ergebnisse auf Fehler und die Einhaltung der Vorgaben. Wenn die Ergebnisse diese Prüfungen bestehen, vergleichen wir Geschwindigkeit, Preis und gegebenenfalls den Token-Verbrauch. Die Autoren bewerten zudem subjektive Aspekte wie Schreibstil und visuelle Ansprechendheit. Die Audiobewertung erfolgt vollständig durch die KI unter Verwendung von Gemini 3.6 Flash.
Wir sind die GlobalGPT-Prüfungsteam, Teil von GlobalGPT. Diese Methodik umfasst die Tests, die wir im Blog veröffentlichen, wenn neue Modelle auf den Markt kommen, sowie Modellvergleiche. Forschungsberichte auf der Grundlage von GlobalGPT-Nutzerdaten erläutern die jeweiligen Datensätze und Analysemethoden.
Unsere Testumgebung: GlobalGPT CLI
Die GlobalGPT-CLI ist unsere Standard-Testumgebung. Ein Test, der eine andere Schnittstelle, API-Route oder ein anderes natives Programmierwerkzeug verwendet, muss in diesem Kontext betrachtet werden. Modellnamen, verfügbare Einstellungen, Werkzeuge und Zugriffsrechte können je nach Umgebung variieren.
Das Modell, das eine Ausgabe generiert, und die KI, die diese bewertet, haben unterschiedliche Rollen. Die Beurteilung eines Evaluators liefert Erkenntnisse über die zurückgegebene Ausgabe; sie gibt jedoch keinen Aufschluss darüber, wie das getestete Modell intern funktioniert.
Aufgabengestaltung: Vorgaben, Eingaben und Anforderungen
Wir geben den Modellen konkrete Aufgaben mit klar definierten Anforderungen. Bei einer Schreibaufgabe könnte es darum gehen, eine Zusammenfassung zu erstellen, die sich ausschließlich auf die bereitgestellten Notizen stützt. Bei einer Programmieraufgabe könnte es darum gehen, eine Funktion zu schreiben, die eine leere Eingabe verarbeitet. Bei einer Bildaufgabe könnte es darum gehen, den genauen Wortlaut für ein Plakat zu formulieren.
Zum Vergleich: Die Eingabeaufforderung und die Eingabedaten legen fest, welche Aufgabe jedes Modell ausführen soll. Unterschiede bei den unterstützten Formaten, Einstellungen oder verfügbaren Werkzeugen spielen bei der Interpretation der Ergebnisse eine Rolle. Ein Vergleich mit festen Eingabeaufforderungen und ein Tutorial, bei dem eine Eingabeaufforderung in mehreren Versuchen verbessert wird, beantworten unterschiedliche Fragen.
Auswertungsergebnisse: Fehler, Anweisungen und Effizienz
Fehler und konsequente Einhaltung
Die KI bewertet, ob das Ergebnis der Aufgabe entspricht und erkennbare Fehler enthält. Zu den relevanten Prüfungen können unter anderem falsche Berechnungen, unbegründete Behauptungen, fehlende Felder oder die Nichteinhaltung eines vorgeschriebenen Formats gehören.
„Bestanden“ bedeutet, dass bei den durchgeführten Prüfungen kein Fehler festgestellt wurde. Dies garantiert nicht, dass die Ausgabe frei von allen möglichen Fehlern ist. KI-Bewerter können Fehler übersehen oder falsche Einschätzungen treffen.
Der Nachweis der Umsetzung ist ein separater Bestandteil der Bewertung. In unserem Kimi-Programmierungsplan-Test, auf den generierten Code folgten fünf lokale Überprüfungen. Das Lesen des Codes, die Aufforderung an ein Modell, seine eigene Antwort zu überprüfen, und das Ausführen von Tests liefern unterschiedliche Belege.
Geschwindigkeit, Preis und Verwendung der Token
Sobald ein Ergebnis die Anforderungen der Aufgabe erfüllt, hilft die Effizienz dabei, sinnvolle Optionen voneinander zu unterscheiden. Eine schnelle Antwort, bei der eine erforderliche Berechnung fehlt, hat nicht dieselbe Aufgabe erfüllt wie eine korrekte Antwort.
| Maß | So liest man es |
|---|---|
| Zeit | Sehen Sie sich das Messfenster an. Die Zeit vom Aufruf bis zur Fertigstellung umfasst die Route und die damit verbundenen Verarbeitungsschritte; es handelt sich dabei nicht unbedingt um die Latenz des Anbietermodells. |
| Verwendung des Tokens | Verwenden Sie die vom Dienst zurückgegebenen Kategorien. Fehlende Eingabe-, Ausgabe-, Cache- oder Reasoning-Token-Daten bedeuten nicht, dass keine Nutzung vorliegt. |
| Kosten | Unterscheiden Sie die verbuchten GlobalGPT-Belastungen bzw. Gutschriften von Schätzungen, die auf den API-Preisen der Anbieter basieren. Abonnementgebühren sind ein weiterer Maßstab. |
| Medienerstellung | Berücksichtigen Sie die Ausgabeeinstellungen sowie etwaige Gutschriften oder Gebühren pro Ausgabe. Die Anzahl der Token ist möglicherweise nicht verfügbar oder aussagekräftig. |
Ein Kostenvoranschlag erfordert eine angegebene Berechnungsgrundlage. Credits können ohne eine verifizierte Umrechnungsregel nicht in Dollar umgerechnet werden, und ein Antwortfeld mit dem Wert Null allein belegt nicht, dass eine Anfrage kostenlos war.
Bewertung durch den Autor bei subjektiven Aufgaben
Die Autoren vergleichen außerdem Ergebnisse, wenn persönliche Vorlieben den Nutzen beeinflussen. Bei Texten oder Bildern kann dies bedeuten, zu erläutern, welches Ergebnis eine klarere Sprache, ein besser lesbares Layout oder eine Gestaltung aufweist, die besser zum Auftrag passt.
Unser Vergleich zwischen Seedream 5.0 Pro und GPT Image 2 zeigt Bildpaare zu bestimmten Aufgaben. Die sichtbaren Formulierungen und das Layout bieten den Lesern neben den Präferenzen des Autors weitere Anhaltspunkte zur Beurteilung. Eine ästhetische Präferenz unterscheidet sich von einer objektiv überprüften Anforderung.
KI-Audiobewertung mit Gemini 3.6 Flash
Unsere Audio-Hörtests werden vollständig von einer KI durchgeführt. Zur Auswertung des eigentlichen Audiomaterials verwenden wir Gemini 3.6 Flash. Dabei handelt es sich um KI-Auswertungen und nicht um Ergebnisse einer menschlichen Hörergruppe.
Die Auswertung hängt von der jeweiligen Aufgabe ab: gesprochene Sprache, Sprachlaute, Klangereignisse, zeitliche Abläufe oder musikalische Struktur. Unsere Testbericht zu Seed Audio 1.0 umfasst generierte Audioinhalte sowie eine KI-Analyse von Inhalten, Ereignissen, Zeitabläufen und Artefakten.
Dateieigenschaften wie Format und Dauer sind unabhängig von der inhaltlichen Beurteilung. Das Vorhandensein einer Audiospur ist kein Beweis dafür, dass die angeforderten Wörter oder Laute korrekt sind. Jede veröffentlichte Partitur muss unter Berücksichtigung der Bewertungskriterien und der darin beschriebenen Audioaufnahme gelesen werden.
So interpretieren Sie Testdaten, Einstellungen und Ausgabedaten
Die detaillierten Testergebnisse gehören in den jeweiligen Artikel. Zu den nützlichen Hintergrundinformationen gehören:
- Das Testdatum, die Modellkennung und die Umgebung.
- Die Aufgabe, die Vorgabe, die Ausgangsmaterialien und das erwartete Ergebnis.
- Verfügbare Einstellungen, Anzahl der Versuche und relevante Änderungen.
- Der Gutachter, die durchgeführten Prüfungen und die Gründe für eine etwaige Bevorzugung eines Autors.
- Tatsächliche Ergebnisse oder Auszüge, Screenshots oder Medien sowie verfügbare Aufzeichnungen zu Zeitablauf, Nutzung und Kosten.
Die Aufzeichnungen variieren je nach Artikel und älteren Tests. Fehlende Messwerte lassen sich nicht als beobachtete Fakten rekonstruieren. Der Abschnitt „Blog & Anleitungen“ auf der Seite einer Modellsammlung enthält Links zu den entsprechenden Übersichtsartikeln und dieser Methodik; die vollständigen Eingabeaufforderungen und Ausgabedaten sind in den Blog-Artikeln erhalten geblieben.
Deutung von Wiederholungsversuchen, fehlgeschlagenen Anfragen und Überarbeitungen
Ein erstes Ergebnis, ein ausgewähltes Ergebnis und ein überarbeiteter Versuch vermitteln den Lesern unterschiedliche Informationen. Die Versuchsgeschichte des Artikels spielt eine Rolle, einschließlich technischer Fehler, leerer Antworten, unvollständiger Antworten sowie Änderungen an den Eingabeaufforderungen oder Einstellungen.
Eine erfolgreich abgeschlossene Anfrage kann dennoch eine unbrauchbare Antwort liefern. Eine fehlgeschlagene Anfrage kann ein Problem mit der getesteten Route aufdecken, ohne dass sich daraus eine allgemeine Schwachstelle des Modells ableiten lässt. Unsere Artikel stützen sich auf unterschiedliche Testumfänge; hinter jedem Ergebnis steht keine einheitliche Anzahl von Durchläufen oder ein einheitliches Blindtestverfahren.
Was Ihnen die Ergebnisse einer Aufgabe sagen können – und was nicht
Ein Ergebnis liefert Anhaltspunkte für eine Schlussfolgerung hinsichtlich der getesteten Aufgabe, des Modells, des Datums und der Umgebung. Kleine Aufgabensätze und einzelne Zeitmessungen reichen nicht aus, um eine allgemeingültige Leistungsrangliste zu erstellen. Wurde nur eine Seite eines Vergleichs getestet, kann diese Evidenz keinen eindeutigen Sieger zwischen den beiden Modellen belegen.
Offizielle Spezifikationen, externe Benchmarks, frühere Tests und die eigenen Ergebnisse eines Artikels liefern unterschiedliche Arten von Belegen. Jede Bewertung hängt von der angegebenen Skala, der Gewichtung und den Ausschlüssen ab. Die Leser sollten in der Lage sein, das Fazit mit den Belegen in Verbindung zu bringen, einschließlich teilweiser oder erfolgloser Ergebnisse.
Inwiefern unterscheiden sich Artikelaktualisierungen von der erneuten Überprüfung von Modellen?
In der Regel prüfen wir Artikel alle zwei bis vier Wochen, wie in unseren Redaktionelle Standards. Eine Inhaltsprüfung bedeutet nicht, dass jeder Modelltest erneut durchgeführt wurde.
Die Aktualisierung eines Preises, die Korrektur einer Bewertung eines bestehenden Ergebnisses und die Generierung eines neuen Ergebnisses sind separate Vorgänge. Historische Ergebnisse bleiben mit ihrem ursprünglichen Testkontext verbunden; allein ein neueres Aktualisierungsdatum des Artikels macht sie noch nicht zu neuen Testergebnissen.
