KI am Steuer: Warum „fast richtig“ für Sprachassistenten nicht gut genug ist

In der idealisierten Welt der KI-Forschung lösen Sprachmodelle komplexe Aufgaben meist fehlerfrei, solange die Informationen vollständig sind. Doch die Realität auf der Straße sieht anders aus: Nutzer geben vage Befehle, Informationen fehlen oder technische Grenzen verhindern die Ausführung. Ein Forscherteam der BMW Group und der Universität Augsburg hat mit „CAR-bench“ einen neuen Maßstab gesetzt, um zu prüfen, wie konsistent und ehrlich KI-Agenten in einem vernetzten Fahrzeug wirklich agieren.

Die Herausforderung: Unsicherheit und Regeln

Bisherige Benchmarks bewerten oft nur, ob eine Aufgabe einmalig gelöst wurde. CAR-bench geht drei Schritte weiter. Erstens findet die Interaktion in einem dynamischen, mehrstufigen Dialog statt. Zweitens muss der KI-Agent 19 spezifische Domänen-Richtlinien einhalten – etwa, dass Fernlicht und Nebelscheinwerfer nicht gleichzeitig aktiviert werden dürfen oder dass vor dem Senden einer E-Mail eine Bestätigung erfolgen muss. Drittens führt der Benchmark gezielt Situationen herbei, in denen die KI an ihre Grenzen stößt.

Halluzinationen vs. Ehrlichkeit

Ein zentraler Bestandteil von CAR-bench sind die sogenannten „Hallucination Tasks“. Hierbei wird der Agent mit Anfragen konfrontiert, die er faktisch nicht erfüllen kann – sei es, weil ein benötigtes Werkzeug fehlt oder die Datenlage unzureichend ist. Die erschreckende Erkenntnis: Viele aktuelle Modelle neigen dazu, Informationen zu erfinden, anstatt ihre Unkenntnis zuzugeben. Für Anwendungen im Automobilbereich, wo Sicherheit an oberster Stelle steht, ist dieses Verhalten hochriskant. Ein Assistent, der eine Funktion vortäuscht, die er nicht kontrollieren kann, untergräbt das Vertrauen des Fahrers massiv.

Präzision durch Rückfragen: Die Kunst der Disambiguierung

Ein weiteres kritisches Feld ist die „Disambiguierung“. Wenn ein Fahrer sagt „Fahr mich zum Restaurant“, ohne ein Ziel zu nennen, darf die KI nicht einfach das erstbeste Ziel wählen. Sie muss klären, welches Restaurant gemeint ist oder interne Daten (wie Kalendereinträge) heranziehen. Die Studie zeigt, dass selbst modernste Modelle wie GPT-4o bei diesen Aufgaben oft voreilig handeln. Die Erfolgsquote bei der konsequenten Klärung von Unsicherheiten lag bei vielen Modellen unter 50 Prozent. Sie priorisieren die Erledigung der Aufgabe gegenüber der notwendigen Sorgfalt.

Business-Implikationen: Der Weg zur Marktreife

Für Unternehmen, die KI-Agenten in kundennahen Produkten einsetzen, liefert CAR-bench wichtige Lehren. Es reicht nicht aus, dass eine KI „fähig“ ist; sie muss „konsistent“ sein. Die Forscher führen die Metrik „Pass@3“ ein, die misst, ob ein Agent eine Aufgabe in drei von drei Versuchen fehlerfrei löst. Die Ergebnisse verdeutlichen, dass wir eine neue Generation von Modellen benötigen, die über „Meta-Reasoning“ verfügen – also die Fähigkeit, das eigene Wissen kritisch zu hinterfragen.

Fazit: Weniger Aktionismus, mehr Mitdenken

Die Studie unterstreicht, dass die Zukunft der KI-Assistenten nicht in der bloßen Ausführung von Befehlen liegt, sondern in der intelligenten Fehlervermeidung und dem transparenten Umgang mit Grenzen. Für die Automobilindustrie und andere sicherheitskritische Branchen bedeutet dies: Bevor KI-Agenten autonom agieren dürfen, müssen sie lernen, im Zweifelsfall lieber einmal mehr nachzufragen, als eine riskante Vermutung anzustellen.