Zoom leder bland testade konkurrenter inom taligenkänning och kvaliteten på AI-genererade mötesanalyser.
Publicerad den 14 november 2024
Xuedong Huang är Chief Technology Officer (CTO). Före sin roll hos Zoom arbetade han på Microsoft, där han tjänstgjorde som Azure AI CTO och Technical Fellow. Han har haft en mycket framgångsrik karriär inom AI: Han startade Microsofts grupp för talteknik 1993 och ledde Microsofts AI-team för att uppnå flera av branschens första milstolpar för mänsklig paritet inom taligenkänning, maskinöversättningar, naturlig språkförståelse och datorvision. Han är en IEEE och ACM Fellow samt en invald medlem i National Academy of Engineering och American Academy of Arts and Sciences.
Xuedong tog sin doktorsexamen i elektroteknik från University of Edinburgh 1989 (sponsrad av British ORS och Edinburgh University Scholarship), sin masterexamen i datavetenskap från Tsinghua University 1984 och sin kandidatexamen i datavetenskap från Hunan University 1982.
Teknik kan användas för att ge alla lika möjligheter och artificiell intelligens är inget undantag. Den kan hjälpa oss att åstadkomma saker som vi inte klarade tidigare. Medan vi fortsätter att bygga ut AI-funktionerna i Zoom Workplace är vi extra uppmärksamma på hur våra produkter kan bidra till att stärka våra kunder, och vi är fast beslutna att leverera resultat av högsta kvalitet så att de kan bli effektiva och framgångsrika i sitt arbete.
Våra kunder använder AI-funktioner i Zoom Workplace inom olika branscher, däribland finansiella tjänster, hälso- och sjukvård, utbildning, myndigheter och många fler. Inom utbildning och på universitet använder studenter och lärare redan idag Zooms AI-funktioner för att förbättra tillgängligheten vid föreläsningar. Inom hälso- och sjukvården deltar människor i virtuella möten och använder transkriptions- och sammanfattningsfunktioner för att öka tillgången till vård.
Användning av AI för att göra tekniken mer tillgänglig är inte bara för textning för hörselskadade, utan även för att bryta ner språkbarriärer. När jag för 35 år sedan studerade i Edinburgh i Skottland och fortfarande lärde mig engelska hade jag stor nytta av textning när jag tittade på BBC, och det visade mig även vad korrekt textning och översättning kan göra för människor runtom i världen. Användningen av AI är redan ganska omfattande, och vi vill fortsätta att förbättra kvaliteten för att ge ökade möjligheter till ännu fler.
Vår framgång vad gäller mötesavskrifter är en del av den här resan, och berör många aspekter av hur AI kan förstärka en individs egna färdigheter och erfarenhet för att hjälpa hen att gå ännu längre. Det kan handla om automatiska undertexter i realtid under ett möte eller webbinarium, översättning av undertexter till ett annat språk i realtid eller transkribering av möten för mötessammanfattningar, smarta inspelningar, åtgärdspunkter med mera. En tillgängligare och mer jämlik mötesupplevelse i globala affärsmiljöer gynnar alla.
Tidigare i år berättade jag om hur vår federerade strategi för AI matchade eller överträffade andra AI-modeller till en mycket lägre kostnad. Idag kan jag med glädje dela med mig av resultatet av en nyligen genomförd utvärdering av Zoom AI:s prestanda utförd av TestDevLab. Resultatet understryker ytterligare Zooms roll som ledare inom taligenkänning och mötesanalyser i jämförelse med andra AI-verktyg som testades.
Våra AI-funktioner integrerar arbets- och webbinformation på ett smidigt sätt för att leverera en imponerande uppgradering av Zoom Workplace-upplevelsen. AI-funktionerna integreras i Zoom Workplace på många olika sätt, men det finns en aspekt som driver våra mest använda AI-funktioner, som mötessammanfattningar, åtgärdspunkter och avskrifter.
Hur effektiva dessa AI-funktioner är beror på exaktheten hos transkriptionerna som de bygger på. Många av våra populära funktioner, som att ställa frågor under mötet, bygger på röstigenkänning av hög kvalitet. En tillförlitlig utskrift gör det möjligt för AI att fånga namn, ämnen och avsikter på ett korrekt sätt - vilket utgör stommen i sammanfattningar, höjdpunkter och handlingsbara insikter.
Branschstandarden för att mäta noggrannhet vid transkription är Word Error Rate (WER), som jämför skillnaderna i procent mellan en mänskligt genererad avskrift och en AI-genererad avskrift. Zoom har under de senaste åren arbetat med att modernisera vår AI-arkitektur för att minimera WER. Genom att minimera WER skapar vi exakta och tillförlitliga avskrifter som bidrar till effektiva och användbara resultat för våra kunder.
I en WER-analys representerar den röda texten ord som saknas och den blå texten ord som inte finns med i källtranskriptionen.
Resultaten var tydliga: Zoom överträffade Microsoft Teams med betydligt lägre WER och levererade en högre nivå av exakthet i avskrifterna. Vid möten där varje ord räknas kan även små transkriptionsfel ha stor inverkan på sammanfattningar, uppgifter eller svar på frågor som ställs under mötena.
Så här skapade och genomförde TestDevLab dessa tester:
För varje test jämförde de Zoom Workplace och Microsoft Teams och mätte Word Error Rate för varje möte.
När man mäter WER (Word Error Rate) så innebär en låg procentsats en högre kvalitet på transkriptionen.
Sammanfattningar och transkriptioner av möten är några av de mest populära och mest använda funktionerna på många AI-plattformar. Eftersom de används i så stor utsträckning är det ännu viktigare att se till att antalet fel reduceras så mycket som möjligt. De är populära för att de sparar tid och för att människor tycker att det är så värdefullt att läsa, sammanfatta och bättre förstå viktig information.
TestDevLab rankade också Zoom Workplace och Microsoft Teams när det gäller kvaliteten på sammanfattningar av möten och samtals-AI (t.ex. svarsstabilitet). För att bedöma sammanfattningarna skapade de en LLM-assistent med mänskligt validerade resultat.
Transkription var inte den enda AI-funktionen som TestDevLab mätte. Till skillnad från avskrifter är målet för andra AI-funktioner, till exempel mötessammanfattningar, inte att skapa en exakt kopia ord för ord, utan snarare att erbjuda en skräddarsydd återgivning av vad som hände på mötet enligt användarnas förväntningar.
TestDevLab rankade också Zoom Workplace och Microsoft Teams när det gäller kvaliteten på sammanfattningar av möten och samtals-AI (t.ex. svarsstabilitet). För att bedöma sammanfattningarna skapade de en LLM-assistent med mänskligt validerade resultat.
I den här utvärderingen testade vi två sammanfattningsfunktioner i Microsoft Teams: funktionen Intelligent Recap, som är tillgänglig med en Teams Premium- eller Microsoft 365 Copilot-licens, och den uppmaningsbaserade sammanfattningsfunktionen i Microsoft Copilot AI Assistant i Teams Meetings. Eftersom Copilot AI Assistant bara kan skapa sammanfattningar baserat på uppmaningar så bad vi Copilot att skapa en sammanfattning och åtgärdspunkter i slutet av mötet.
För konversations-AI mätte TestDevLab hur väl de olika AI-plattformarna lyckades med att svara på frågor under ett möte, både med avseende på möteskontexten och på orelaterade webbsökningar som ”Vilken är världens högsta byggnad?” Både i fråga om svarstid och stabilitet (möjligheten för alla mötesdeltagare att få liknande svar) överträffade Zoom Microsoft.
Högre stabilitet indikerar att Zooms AI konsekvent levererar tillförlitliga svar till alla deltagare, vilket ger en smidigare upplevelse under möten.
De här resultaten belyser vårt engagemang i kvalitet genom hela Zoom Workplace. Vi strävar efter att skapa ett sätt för människor att lättare komma i kontakt med varandra, bli mer effektiva i vardagen och få möjlighet att använda artificiell intelligens som stöd i arbetet. AI-genererade mötesavskrifter är bara ett exempel på hur Zoom Workplace används för att skapa en mer jämlik upplevelse för många människor, däribland döva, hörselskadade, personer med neurodiversitet och alla som kanske talar ett annat språk än övriga mötesdeltagare.
Utvärderingen som utfördes av TestDevLab lyfter fram Zoom Workplace som en ledare inom AI-prestanda, med överlägsen transkriptionsexakthet, snabbare svar på frågor under möten och mer stabila funktioner för konversations-AI jämfört med testade konkurrenter.
Dessutom erbjuder Zoom Workplace många AI-funktioner utan extra kostnad för betalda Zoom-konton, till skillnad från vissa andra plattformar som tar extra betalt för varje ytterligare användare som ges tillgång till AI-funktioner. På Zoom tycker vi att det är viktigt att göra de här exakta och omvälvande verktygen tillgängliga för så många kunder som möjligt. Vi börjar från grunden – avskrifter av hög kvalitet – och fortsätter att skapa exceptionella AI-upplevelser för alla våra kunder.
Om du inte har en kvalificerande betald Zoom-plan kan du uppgradera idag för att utnyttja fördelarna med Zoom Workplace.
