A novembre 2023, ho spiegato come l'approccio dell'IA federata di Zoom abbia raggiunto una qualità quasi uguale a OpenAI GPT-4 con solo il 6% del costo di inferenza. Per quanto impressionanti siano stati questi risultati, ora possiamo offrire una qualità dell'IA ancora migliore rispetto a GPT-4 di OpenAI per le nostre funzionalità di riunione preferite. Zoom AI Companion ha ridotto gli errori relativi di oltre il 20% (per i "riassunti" del riepilogo delle riunioni Zoom) e del 60% (per i "passaggi successivi") rispetto a GPT-4 nel nostro benchmarking interno alla cieca convalidato da persone.
A supporto dei nostri sforzi di formazione per perfezionare la qualità del completamento delle attività, il nostro esclusivo approccio federato all'IA sfrutta molti modelli linguistici avanzati (LLM) chiusi e open source che lavorano insieme per ottenere risultati migliori. Questo è in contrasto con altri fornitori che sono legati a specifici LLM. Ad esempio, Microsoft Copilot si è affidato a GPT-4, e Google si è affidato a Gemini.
Questo approccio all'IA distingue Zoom AI Companion, offrendo ai nostri clienti un'esperienza di alta qualità con le nostre funzionalità più popolari. Come ho condiviso nel mio ultimo aggiornamento, utilizziamo il nostro Z-scorer di proprietà per giudicare la qualità dei nostri output generati dall'IA. Innanzitutto, impieghiamo un LLM a basso costo più adatto a ogni attività. Quindi, il nostro Z-scorer valuta la qualità del completamento dell'attività iniziale. Se necessario, possiamo utilizzare un altro LLM complementare per perfezionare l'attività. Questo processo si traduce in un output di qualità superiore nello stesso modo in cui un team di persone può realizzare di più insieme rispetto a qualsiasi singolo individuo.
Da allora abbiamo migliorato il nostro Z-scorer integrando segnali di qualità aggiuntivi provenienti da una varietà di LLM. Inoltre, per allinearci meglio alle preferenze umane, abbiamo migliorato l'apprendimento per rinforzo federato. Federando Zoom LLM in combinazione con una serie di LLM complementari, il popolare riepilogo delle riunioni di Zoom offre risultati di alta qualità e, secondo il nostro recente benchmarking, può ora superare GPT-4, utilizzato per alimentare Copilot in Microsoft Teams.
Per quanto riguarda la sicurezza dell'IA, abbiamo anche ridotto i pregiudizi intrinseci nella maggior parte degli LLM formando un comitato composto da più LLM come Claude-3, Gemini e GPT-4 per ridurre gli equivoci e migliorare il nostro LLM di Zoom. Ad esempio, è improbabile che diversi LLM commettano lo stesso errore equivocato, quindi possiamo trarre risposte più coerenti e ridurre l'impatto dei valori anomali.