VideoJev: Effiziente Video-Intelligenz für die nächste Generation von KI-Agenten

In der Welt der Künstlichen Intelligenz galt Video-Verständnis lange Zeit als rechenintensives Nadelöhr. Herkömmliche Modelle analysieren Videos oft wie ein langsamer Kinobesucher, der jedes Einzelbild einzeln betrachtet und seine Antworten mühsam Wort für Wort formuliert. Ein neues Forschungspapier stellt nun VideoJev vor – eine Modellfamilie, die diesen Prozess revolutioniert, indem sie Videoanalysen in strukturierte Entscheidungsaufgaben verwandelt. Das Ergebnis ist eine dramatische Steigerung der Effizienz, die besonders für Unternehmen im Bereich Automatisierung und Sicherheit von Bedeutung ist.

Vom Erzähler zum Entscheider: Das neue Paradigma

Der Kern von VideoJev liegt in der Abkehr vom sogenannten autoregressiven Decoding. Statt Sätze über den Videoinhalt zu generieren, nutzt VideoJev einen speziellen "Scoring-Head". Dieser bewertet zeitliche Intervalle und vorgegebene Textoptionen direkt gegen das Videomaterial. Wenn ein System also gefragt wird, wann genau ein Einbruch stattfand oder welche Aktion ein Mitarbeiter ausgeführt hat, liefert VideoJev sofort präzise Zeitstempel oder wählt die korrekte Antwort aus einer Liste aus. Dieser Ansatz vereint zwei bisher getrennte Disziplinen: die zeitliche Lokalisierung von Ereignissen und das Beantworten komplexer Fragen zum Videoinhalt.

Massive Geschwindigkeitsvorteile durch Joint Inference

Ein entscheidendes Problem bei aktuellen KI-Video-Tools ist die Latenz. Wenn mehrere Fragen zu demselben Video gestellt werden, müssen viele Modelle das Video jedes Mal neu verarbeiten. VideoJev nutzt zwei innovative Techniken, um dies zu umgehen: Cached Inference und Joint Inference. Bei der Joint Inference werden mehrere Anfragen in einem einzigen Durchgang verarbeitet, was die visuelle Berechnung effizient wiederverwendet. In Tests erreichte VideoJev-35B eine Beschleunigung um den Faktor 100 gegenüber vergleichbaren Modellen im "Thinking Mode", ohne dabei an Präzision einzubüßen. Für Unternehmen bedeutet dies, dass Analysen, die früher Minuten dauerten, nun in Sekundenbruchteilen verfügbar sind.

Praxisnahe Leistung und Präzision

Die Forschungsergebnisse zeigen, dass Effizienz nicht auf Kosten der Qualität gehen muss. Auf Benchmark-Tests wie Charades und ActivityNet verbesserte VideoJev die Genauigkeit (gemessen als mIoU) im Vergleich zu seinen Basismodellen um bis zu 10,8 Punkte. Besonders beeindruckend ist die Leistung bei Langform-Videos: Während herkömmliche Modelle bei Videos von bis zu zwei Stunden Länge oft den Kontext verlieren, behält VideoJev durch ein intelligentes Token-Budget und effizientes Subsampling den Überblick. Dies macht das System ideal für die Analyse von Überwachungskameras, Sportübertragungen oder industriellen Prozessüberwachungen.

Was bedeutet das für die Wirtschaft?

Die praktischen Anwendungsmöglichkeiten von VideoJev sind vielfältig. In der Logistik könnten KI-Agenten Video-Feeds in Echtzeit scannen, um Verzögerungen sofort zu identifizieren und zeitlich einzuordnen. Im Kundenservice oder E-Learning könnten automatisierte Systeme Fragen zu Video-Tutorials blitzschnell beantworten. Da VideoJev als Open-Source-Modell konzipiert ist und auf gängigen Architekturen wie Qwen aufbaut, bietet es eine robuste Grundlage für Unternehmen, die eigene Video-KI-Workflows aufbauen möchten. Es ist ein wichtiger Schritt weg von "plaudernden" KIs hin zu handlungsorientierten Video-Agenten, die schnelle und verlässliche Entscheidungen treffen.