AI Companion Vergaderen en chatten

De gezamenlijke AI-aanpak van Zoom levert resultaten van de beste kwaliteit voor onze populairste functies

De CTO van Zoom, Xuedong Huang, bespreekt onze gefedereerde benadering van AI en hoe AI hoogwaardige prestaties levert voor samenvatting van vergaderingen, uittreksels en vervolgstappen.

8 minuten lezen

Bijgewerkt op May 06, 2024

Gepubliceerd op March 26, 2024

De gezamenlijke AI-aanpak van Zoom levert resultaten van superieure kwaliteit voor de populairste functies van AI Companion

In november 2023 deelde ik hoe de gezamenlijke AI-aanpak van Zoom kwalitatief bijna gelijk stond aan die van OpenAI GPT-4 met slechts 6% van de gevolgtrekkingskosten. Hoe indrukwekkend die resultaten ook waren, inmiddels kunnen we voor onze meest populaire vergaderfuncties nog betere AI-kwaliteit leveren in vergelijking met GPT-4 van OpenAI. Zoom AI Companion verminderde fouten met meer dan 20% (voor de 'uittreksels' van Zooms samenvatting van vergadering) en 60% (voor 'vervolgstappen') in vergelijking met GPT-4 in onze interne, door mensen gevalideerde blinde benchmarking. 

Ter ondersteuning van onze trainingsinspanningen om de kwaliteit van voltooide taken te verbeteren, profiteert onze unieke, gezamenlijke aanpak voor AI van vele closed-source en open-source geavanceerde large language models (LLM's), die allemaal samenwerken voor betere resultaten. Dit is in tegenstelling tot andere providers die gebonden zijn aan specifieke LLM's. Zo vertrouwt Microsoft Copilot bijvoorbeeld op GPT-4 en Google op Gemini.

Deze AI-aanpak onderscheidt Zoom AI Companion van de rest en biedt onze klanten een hoogwaardige ervaring met onze populairste functies. Zoals ik in mijn laatste update al aangaf, gebruiken we onze bedrijfseigen Z-scorer om de kwaliteit van onze door AI gegenereerde output te beoordelen. Eerst zetten we een goedkopere LLM in die het meest geschikt is voor de taak. Daarna beoordeelt onze Z-scorer de kwaliteit van de taakvoltooiing. Indien nodig kunnen we nog een extra LLM inzetten om de taak te verfijnen. Dit proces resulteert in een output van hogere kwaliteit. Dit werkt op dezelfde manier als dat mensen in teamverband meer kunnen bereiken dan één individu.

We hebben onze Z-scorer sindsdien verbeterd door aanvullende kwaliteitswaarschuwingen uit verschillende LLM's in te voeren. Bovendien verbeterden we onze gezamenlijke reinforcement learning, om betere aansluiting met menselijke voorkeuren te vinden. Door Zoom LLM samen te voegen met een reeks aanvullende LLM's, is Zooms populaire samenvatting van vergadering van hoge kwaliteit. Zo goed zelfs dat die, volgens onze recente benchmarking, nu beter presteert dan GPT-4, dat wordt gebruikt om Copilot in Microsoft Teams aan te drijven.

Voor wat betreft de veiligheid van AI hebben we bovendien de inherente vooroordelen in de meeste LLM's kunnen terugbrengen. Dit deden we door een comité van meerdere LLM's te vormen, zoals Claude-3, Gemini en GPT-4, zodat we hallucinaties kunnen verminderen en onze Zoom LLM verbeteren. Verschillende LLM's zullen bijvoorbeeld minder snel dezelfde gehallucineerde fout opwekken. Daardoor krijgen we consistentere antwoorden en reduceren we de impact van uitzonderingen. 

De gezamenlijke AI-aanpak van Zoom is effectiever waar onze gebruikers dat het hardste nodig hebben

Onlangs hebben we onze resultaten gebenchmarkt voor de twee populairste onderdelen van de functie samenvatting van vergadering: uittreksels van de vergadering en vervolgstappen. Meer dan een half miljoen Zoom-klanten hebben deze functies ingeschakeld sinds onze lancering van AI Companion in september 2023. 

In onze laatste interne benchmark lieten we juryleden van vlees en bloed de meest nauwkeurige samenvatting van een vergadering kiezen, zonder daarbij bekend te maken welk AI-model werd gebruikt om elke samenvatting te maken. Zoals je in de onderstaande grafiek kunt zien, overtroffen de prestaties van Zoom LLM die van GPT-4 in het Engels in elke blindtest, zowel voor de uittreksels van vergaderingen als de vervolgstappen. We kunnen het aantal fouten in de uittreksels van vergaderingen en vervolgstappen respectievelijk met meer dan 20% en 60% verminderen, wat direct superieure kwaliteitsvoordelen oplevert.

Afbeelding 1. Menselijke evaluatie voor uittreksels van de vergadering en vervolgstappen in het Engels. Zoom LLM en Anthropic Claude-3 zijn samengevoegd voor de eindresultaten, welke aanzienlijk beter zijn dan wanneer alleen OpenAI GPT-4 wordt gebruikt.

Afbeelding 1. Menselijke evaluatie voor uittreksels van de vergadering en vervolgstappen in het Engels. Zoom LLM en Anthropic Claude-3 zijn samengevoegd voor de eindresultaten, welke aanzienlijk beter zijn dan wanneer alleen OpenAI GPT-4 wordt gebruikt.

Daarnaast hebben we de kwaliteit gemeten van de gehele samenvatting van vergadering voor Japans met behulp van Zoom LLM, vergeleken met GPT-4. Zoals je in de onderstaande grafiek kunt zien, leverde onze gezamenlijke aanpak hier betere resultaten op. 

Afbeelding 2. Menselijke evaluatie van de gehele samenvatting van vergadering in het Japans. Zoom LLM en OpenAI GPT-4 zijn samengevoegd voor de eindresultaten, welke beter zijn dan wanneer alleen OpenAI GPT-4 wordt gebruikt.
Afbeelding 2. Menselijke evaluatie van de gehele samenvatting van vergadering in het Japans. Zoom LLM en OpenAI GPT-4 zijn samengevoegd voor de eindresultaten, welke beter zijn dan wanneer alleen OpenAI GPT-4 wordt gebruikt.

Hoogwaardige AI is geïntegreerd in Zoom Workplace en Zakelijke diensten

We doen er alles aan om de voordelen van Zoom AI Companion via het hele Zoom-platform naar onze klanten te brengen, zonder extra kosten voor in aanmerking komende betaalde Zoom-abonnementen.* Deze niet-aflatende focus op AI-kwaliteit zorgt dat de klant meer waarde uit Zoom Workplace en Zoom Zakelijke diensten kan halen. Bovendien was de transcriptie van AI Companion, volgens een GigaOm-onderzoek in opdracht van Zoom (gepubliceerd op 26 maart 2024), voor 95% nauwkeurig. Bij scenario's met vragen tijdens vergaderingen werden de resultaten van AI Companion vier keer sneller geleverd dan die van ChatGPT-4 web.

Met deze nieuwste innovaties kun je erop vertrouwen dat elke Zoom-vergadering vergezeld kan gaan van een door AI gegenereerde samenvatting van vergadering, met een van de beste AI-kwaliteit in de branche. 

*AI Companion is mogelijk niet in alle regio's of sectoren beschikbaar.

Our customers love us

Okta
Nasdaq
Rakuten
Logitech
Western Union
Autodesk
Dropbox
Okta
Nasdaq
Rakuten
Logitech
Western Union
Autodesk
Dropbox

Zoom - One Platform to Connect