EVA ist ein End-to-End-Framework zur Bewertung von konversationellen Voice Agents über vollständige, mehrturnige gesprochene Dialoge in einer realistischen Bot-to-Bot-Architektur. Das Framework vergibt zwei übergeordnete Kennzahlen: EVA-A für Accuracy und EVA-X für Experience. Laut Veröffentlichung ist EVA das erste System, das Aufgabenerfolg und Gesprächserlebnis gemeinsam bewertet.
Die Autoren begründen den Ansatz damit, dass bestehende Benchmarks meist nur Teilaspekte isoliert messen. Einige Verfahren bewerten Speech-to-Text, Transkription, paralinguistische oder akustische Merkmale in Single-Turn-Setups, andere subjektive Sprachqualität oder einzelne Aspekte der Gesprächsdynamik wie Unterbrechungen, Backchanneling und Turn-Taking. Neuere Ansätze für agentische Fähigkeiten berücksichtigen zwar Tool-Calling und komplexe Instruktionen, bewerten diese aber nicht innerhalb vollständiger Gesprächsabläufe vom ersten Nutzerwunsch bis zur endgültigen Auflösung der Aufgabe.
EVA simuliert mehrturnige Gespräche über Live-Audio, in denen ein Agent passende Tools aufrufen, aufgabenspezifische Richtlinien einhalten und einen deterministisch prüfbaren Endzustand erreichen muss. Die Architektur besteht aus fünf Komponenten: einem User Simulator mit festgelegtem Ziel und Persona, dem zu bewertenden Voice Agent, einem Tool Executor mit reproduzierbaren Tool-Antworten über Python-Funktionen, Validators zur Prüfung der Gesprächsausführung ohne menschliche Annotation sowie einer Metrics Suite, die Aufzeichnung, Transkript und Tool-Logs auswertet.
Jeder Testfall ist als reproduzierbarer Evaluation Record aufgebaut und umfasst Nutzerziel, Nutzerpersona, eine Szenario-Datenbank und den erwarteten Ground Truth des Endzustands. Veröffentlicht wurde EVA zunächst mit einem synthetischen Airline-Datensatz aus 50 Szenarien und 15 Tools. Abgedeckt werden unter anderem IRROPS-Rebooking, freiwillige Itinerary-Änderungen, Stornierungen, Same-Day-Standby und Compensation Vouchers. Die Szenarien sollen zeitliches Schlussfolgern, Policy-Following, Constraint Satisfaction und Named-Entity-Verarbeitung testen.
Für die Auswertung nutzt EVA zwei Hauptdimensionen sowie zusätzliche Diagnosemetriken. EVA-A umfasst Task Completion als deterministische Messung des erreichten Endzustands, Faithfulness per LLM-as-Judge zur Prüfung auf Fabrications, Fehlrepräsentationen, Policy-Verstöße und Halluzinationen sowie Speech Fidelity per LALM-as-Judge. Diese letzte Metrik prüft auf Audio-Ebene, ob gesprochene Ausgaben kritische Inhalte wie Bestätigungscodes, Flugnummern und Dollar-Beträge korrekt wiedergeben.
EVA-X misst das Gesprächserlebnis entlang von Conciseness, Conversation Progression und Turn-Taking. Dabei geht es darum, ob Antworten für gesprochene Interaktion angemessen knapp sind, das Gespräch ohne Wiederholungen oder Stagnation voranbringen und zeitlich passend erfolgen, also weder den Nutzer unterbrechen noch zu lange Pausen erzeugen.
Berichtet werden pass@k und pass^k über drei Durchläufe pro Szenario mit k = 3. Damit sollen sowohl Spitzenleistung als auch Verhaltenskonsistenz erfasst werden. Eingesetzt werden deterministische codebasierte Metriken sowie Judge-basierte Verfahren mit LLMs oder Large Audio Language Models. Für jede Judge-Metrik wird laut Text das auf einem kuratierten Evaluationsdatensatz jeweils beste Modell verwendet.
Für 20 proprietäre und Open-Source-Systeme, darunter Cascade-Architekturen und audio-native Systeme wie S2S-Modelle und LALMs, berichten die Autoren einen konsistenten Accuracy-Experience-Trade-off. Systeme mit guten Werten bei der Aufgabenerfüllung liefern demnach häufig ein schwächeres Nutzererlebnis und umgekehrt. Kein getestetes Setup dominiert beide Achsen zugleich. Als dominanter Fehlermodus wird die Transkription von Named Entities genannt, bei der bereits ein falsch verstandenes Zeichen zu Authentifizierungsfehlern und zum Abbruch ganzer Gespräche führen kann. Auch mehrstufige Abläufe, insbesondere Rebooking unter Beibehaltung zusätzlicher Leistungen wie Sitze oder Gepäck, erwiesen sich als wiederkehrende Schwierigkeit. Zudem zeigt der Abstand zwischen pass@3 und pass^3, dass viele Systeme Aufgaben zwar lösen können, dies aber nicht konsistent tun.
Die Veröffentlichung nennt mehrere Einschränkungen. LLM-as-Judge-Metriken können systematische Verzerrungen enthalten und bestimmte Antwortstile bevorzugen; bei identischem Anbieter von Bewertungs- und Zielmodell steigt dieses Risiko zusätzlich. Task Completion ist binär und bildet Teil-Erfolge nicht ab. Die aktuelle Version umfasst nur 50 englischsprachige Szenarien aus einem einzigen Bereich, sodass die Ergebnisse nicht ohne Weiteres auf andere Domänen, Sprachen oder Akzente übertragbar sind. Der User Simulator bildet reales Anruferverhalten nicht vollständig nach, und die Bot-to-Bot-Pipeline mit Audio-Konvertierungen und Echtzeit-Schnittstellen entspricht nicht zwingend Produktionsumgebungen. Außerdem setzt vollständige Reproduzierbarkeit kommerziellen API-Zugang voraus, und Latenzmessungen hängen von Anbieter und Infrastruktur ab.
Als nächste Schritte nennen die Autoren unter anderem die Bewertung prosodischer Qualität wie Aussprache, Rhythmus und Ausdruck, Robustheitstests unter Rauschen, mit unterschiedlichen Akzenten, mehrsprachigen Nutzern und variierenden Sprecherverhalten sowie die Entwicklung weiterer Datensätze für zusätzliche Domänen und komplexere Szenarien. Geplant sind außerdem ein Tool für Ergebnis- und Fehleranalyse sowie ein fortlaufend erweitertes Leaderboard.
