Im November 2023 habe ich darüber berichtet, dass der ganzheitliche KI-Ansatz von Zoom mit nur 6 % der Kosten eine Qualität erreichte, die annähernd der von OpenAI GPT-4 entsprach. So beeindruckend diese Ergebnisse auch waren, können wir inzwischen bei unseren beliebtesten Meeting-Funktionen eine höhere KI-Qualität erzielen als OpenAI GPT-4. Zoom AI Companion reduzierte in unserem internen, von Menschen ausgewerteten Blind-Benchmarking die relativen Fehler im Vergleich zu GPT-4 um mehr als 20 % (bei den Zusammenfassungen der Zoom-Meeting-Zusammenfassung) bzw. 60 % (bei den nächsten Schritten).
Unser einzigartiger, ganzheitlicher KI-Ansatz unterstützt unsere Trainingsbemühungen zur Verbesserung der Qualität beim Erledigen von Aufgaben und nutzt die Vorteile vieler fortschrittlicher Closed- und Open-Source-LLMs (Large Language Models), die gemeinsam bessere Ergebnisse liefern. Andere Anbieter hingegen sind an bestimmte LLMs gebunden. Beispielsweise setzt Microsoft Copilot auf GPT-4 und Google auf Gemini.
Dieser KI-Ansatz hebt Zoom AI Companion von der Masse ab und bietet unseren Kunden eine hochwertige Erfahrung bei unseren beliebtesten Funktionen. Wie ich in meinem letzten Update mitgeteilt habe, verwenden wir unseren eigenen Z-Scorer, um die Qualität der KI-Ausgaben zu beurteilen. Zunächst setzen wir ein kostengünstigeres LLM ein, das für die jeweilige Aufgabe am besten geeignet ist. Anschließend bewertet unser Z-Scorer, wie gut die ursprüngliche Aufgabe erledigt wurde. Bei Bedarf können wir ein weiteres ergänzendes LLM nutzen, um das Ergebnis zu optimieren. Dieser Prozess führt zu einem hochwertigeren Ergebnis – ebenso, wie ein Team gemeinsam mehr erreichen kann als jeder Einzelne.
Seitdem haben wir unseren Z-Scorer durch die Einbindung zusätzlicher Qualitätssignale aus verschiedenen LLMs verbessert. Um den menschlichen Vorlieben besser gerecht zu werden, haben wir außerdem das ganzheitliche bestärkende Lernen verbessert. Durch die Zusammenführung von Zoom LLM mit einer Reihe ergänzender LLMs liefert die beliebte Meeting-Zusammenfassung von Zoom hervorragende Ergebnisse und kann laut unserem jüngsten Benchmarking inzwischen GPT-4 übertreffen, das für Copilot in Microsoft Teams verwendet wird.
Im Hinblick auf die KI-Sicherheit haben wir zudem inhärente Voreingenommenheit in den meisten LLMs reduziert, indem wir eine Kombination aus mehreren LLMs wie Claude-3, Gemini und GPT-4 gebildet haben, die Halluzinationen reduzieren und unser Zoom LLM verbessern soll. Beispielsweise ist es unwahrscheinlich, dass verschiedene LLMs den gleichen halluzinierten Fehler machen. Somit können wir einheitlichere Antworten ableiten und die Auswirkungen von Ausreißern reduzieren.