OmegaUse-OfficeVal: Büro-Agenten werden an Ergebnisqualität und Kosten gemessen

Der neue Benchmark OmegaUse-OfficeVal verschiebt die Frage bei KI-Agenten für Office-Aufgaben: nicht nur, ob sie eine Aufgabe abschließen, sondern ob das Ergebnis nutzbar ist – und ob sich die Ausführung wirtschaftlich rechnet.

Das am 29. Juli veröffentlichte Paper von Baidus Agent Frontier Team beschreibt 100 längere Aufgaben aus der Praxis: Dokumente, Tabellen, Präsentationen, PDFs sowie Bild- und Videodateien. Im Mittel benötigen menschliche Bearbeiter dafür 2,32 Stunden. Jede Aufgabe erhält neben einer Zeitmessung auch einen Preis-Proxy. Damit lassen sich Inferenzkosten erstmals direkt gegen den Wert einer konkreten Arbeitsaufgabe stellen – statt gegen eine grobe Berufsbezeichnung.

Warum das mehr ist als ein weiterer Agenten-Benchmark

OmegaUse-OfficeVal bewertet nicht bloß, ob ein Agent ein GUI-Endziel erreicht. Zuerst muss das erzeugte Artefakt alle Nutzbarkeitsprüfungen bestehen; erst dann zählt die gewichtete Aufgabenerfüllung. Für Teams ist das eine wichtigere Fehlerdefinition: Eine formal erzeugte XLSX- oder PPTX-Datei ist kein Erfolg, wenn sie Anforderungen verfehlt oder Nebenwirkungen im Ausgangsmaterial hinterlässt.

• 100 Aufgaben aus realen, datenschutzbereinigt adaptierten Office-Anfragen
• Durchschnittlich 2,32 Stunden menschliche Bearbeitungszeit pro Aufgabe
• Zwei ökonomische Signale: menschliche Arbeitszeit und Preis-Proxys auf Aufgabenebene
• Code-basierte Rubriken: Nutzbarkeit ist eine harte Eintrittsbedingung für den Score

Günstiger und schneller – aber noch nicht verlässlich genug

In der Evaluation lagen alle getesteten LLM-Agenten bei Kosten und Laufzeit deutlich unter der menschlichen Referenz, erreichten aber keine vergleichbare Qualität der Ergebnisartefakte. GLM-5.2 erzielte den höchsten durchschnittlichen Score unter den geprüften Modellen (17,91 gegenüber 27,79 für die menschliche Referenz). Qwen3.7-Plus führte laut Paper bei zeit- und preisgewichteten Scores. Das ist ein nützlicher Hinweis für Beschaffung und Routing: Der beste Durchschnittsscore ist nicht automatisch die beste Wahl bei wirtschaftlich wichtigen Aufgaben.

Die operative Kennzahl für Office-Agenten sollte daher nicht „Kosten pro Token“ oder „Task completed“ heißen, sondern: brauchbares Ergebnis pro Euro – mit Fehlerrate und Review-Aufwand.

Was Teams jetzt daraus ableiten sollten

Für produktive Automatisierung heißt das: Aufgaben nach Wert und Schadenpotenzial staffeln, finale Artefakte prüfen und Kosten, Laufzeit, Nacharbeit sowie Fehlerschäden gemeinsam beobachten. Besonders für Tabellen, Präsentationen und Dokument-Workflows ist ein Abnahmekriterium am Ergebnis unverzichtbar. Ein schneller Agent, der in der Hälfte der Fälle ein unbrauchbares Ergebnis liefert, ist keine günstige Automatisierung.

Einordnung: OmegaUse-OfficeVal ist ein frisches, von den Autoren veröffentlichtes Forschungsartefakt und keine neutrale Marktstudie. Die Ergebnisse gelten für den beschriebenen Agenten-Scaffold, die getesteten Modelle und die 100 Aufgaben. Gerade deshalb ist der offene Datensatz interessant: Er gibt Teams einen konkreten Ausgangspunkt, eigene Office-Workloads nicht nur auf Demo-Erfolg, sondern auf ökonomisch gewichtete Ergebnisqualität zu testen.

Quelle: Zhou et al., „OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding“ (arXiv, eingereicht am 29. Juli 2026). Paper und Datensatz stehen laut Autoren offen bereit.