AI Companion Reunião e chat

A abordagem de IA federada do Zoom oferece os melhores resultados de qualidade em relação aos nossos recursos mais populares

O CTO do Zoom, Xuedong Huang, fala sobre nossa abordagem federada da IA e como ela proporciona um desempenho de alta qualidade para resumos de reunião, revisões e próximos passos.

8 minutos de leitura

Atualizada em May 06, 2024

Publicado em March 26, 2024

A abordagem de IA federada do Zoom oferece resultados superiores em relação à qualidade para os recursos mais populares do AI Companion

Em novembro de 2023, compartilhei como a abordagem de IA federada do Zoom alcançou uma qualidade quase igual ao GPT-4 da OpenAI com apenas 6% do custo de inferência. Por mais impressionantes que tenham sido esses resultados, agora podemos oferecer uma qualidade de IA ainda melhor em comparação com o GPT-4, da OpenAI, em relação aos nossos recursos de reunião mais populares. O Zoom AI Companion reduziu os erros relativos em mais de 20% (para "sínteses" do resumo da reunião do Zoom) e 60% (para "próximos passos") em comparação com o GPT-4, em nosso benchmarking cego interno, validado por humanos. 

Para apoiar nossos esforços de treinamento com objetivo de aperfeiçoar a qualidade da conclusão de tarefas, nossa abordagem exclusiva para IA federada aproveita muitos grandes modelos de linguagem (LLMs) avançados de código aberto e fechado, trabalhando juntos para conseguir melhores resultados. Isso contrasta com outros fornecedores que estão vinculados a LLMs específicos. Por exemplo, o Copilot, da Microsoft, se baseou no GPT-4 e o Google se baseou no Gemini.

Essa abordagem diferencia o Zoom AI Companion, oferecendo aos nossos clientes uma experiência de alta qualidade em relação aos nossos recursos mais populares. Conforme compartilhei em minha última atualização, usamos nosso Z-scorer exclusivo para avaliar a qualidade de nossos resultados gerados por IA. Primeiro, empregamos um LLM de baixo custo mais adequado para cada tarefa. Em seguida, nosso Z-scorer avalia a qualidade da conclusão da tarefa inicial. Se necessário, usamos outro LLM complementar para aperfeiçoar a tarefa. Esse processo resulta em um resultado de maior qualidade, da mesma forma que uma equipe de pessoas pode realizar mais em conjunto do que um indivíduo sozinho.

Desde então, melhorarmos nosso Z-scorer incorporando sinais de qualidade adicionais de uma variedade de LLMs. Além disso, para nos alinharmos melhor com a preferência humana, aprimoramos o aprendizado por reforço federado. Ao associar o Zoom LLM com um conjunto de LLMs complementares, o popular resumo de reunião do Zoom oferece resultados de alta qualidade e, de acordo com nossa recente avaliação comparativa, agora pode superar o GPT-4, que é usado para alimentar o Copilot, no Microsoft Teams.

Em relação à segurança da IA, também reduzimos o viés inerente à maioria dos LLMs ao formar um comitê composto por vários LLMs, como Claude-3, Gemini e GPT-4, para reduzir as alucinações e aprimorar o LLM do Zoom. Por exemplo, é improvável que LLMs diferentes cometam o mesmo erro alucinado, de modo que podemos obter respostas mais consistentes e reduzir o impacto das exceções. 

A abordagem de IA federada do Zoom é mais eficaz onde nossos usuários mais precisam dela

Recentemente, comparamos nossos resultados com os dois componentes mais populares do Resumo da reunião: síntese das reuniões e próximas etapas. Mais de meio milhão de clientes do Zoom habilitaram esses recursos desde que lançamos o AI Companion, em setembro de 2023. 

Em nosso mais recente benchmark interno, pedimos que juízes humanos escolhessem o resumo da reunião mais preciso, sem revelar qual modelo de IA foi usado para gerar cada resumo. Conforme mostrado no gráfico abaixo, o LLM do Zoom superou o GPT-4 em inglês tanto para sínteses de reuniões quanto para extração de próximas etapas em cada um dos testes cegos. Podemos reduzir os erros relativos dos resumos das reuniões e das próximas etapas das reuniões em mais de 20% e 60%, respectivamente, traduzindo isso na vantagem de ter uma qualidade superior.

Figura 1. Avaliação humana para síntese de reunião e as próximas etapas em inglês. O LLM do Zoom e o Anthropic Claude-3 estão associados nos resultados finais superando significativamente o desempenho do OpenAI GPT-4 sozinho.

Figura 1. Avaliação humana para síntese de reunião e as próximas etapas em inglês. O LLM do Zoom e o Anthropic Claude-3 estão associados nos resultados finais superando significativamente o desempenho do OpenAI GPT-4 sozinho.

Também mensuramos a qualidade do resumo da reunião em japonês, usando o LLM do Zoom, comparado com o GPT-4. Como você pode ver no gráfico abaixo, nossa abordagem federada conseguiu melhores resultados aqui. 

Figura 2. Avaliação humana sobre o resumo da reunião em japonês. O LLM do Zoom e o OpenAI GPT-4 estão associados nos resultados finais superando significativamente o desempenho do OpenAI GPT-4 sozinho.
Figura 2. Avaliação humana sobre o resumo da reunião em japonês. O LLM do Zoom e o OpenAI GPT-4 estão associados nos resultados finais superando significativamente o desempenho do OpenAI GPT-4 sozinho.

A IA de qualidade está incorporada no Zoom Workplace e nos serviços comerciais

Estamos comprometidos em trazer os benefícios do Zoom AI Companion por toda a plataforma Zoom para nossos clientes, sem custo extra, nos planos Zoom pagos qualificáveis.* Esse foco incansável na qualidade da IA gera maior valor para o cliente no Zoom Workplace e no Zoom Business Services. Além disso, de acordo com um estudo da GigaOm encomendado pelo Zoom (publicado em 26 de março de 2024), a transcrição do AI Companion foi realizada com 95% de precisão e, para casos de perguntas na reunião, o AI Companion forneceu resultados quatro vezes mais rápidos do que o ChatGPT-4 web.

Com essas inovações mais recentes, você pode ter certeza de que todas as reuniões do Zoom podem ser acompanhadas por um resumo de reunião gerado por IA com uma das melhores qualidades de IA do setor. 

O AI Companion pode não estar disponível em todas as regiões e segmentos.

Nossos clientes nos amam

Okta
Nasdaq
Rakuten
Logitech
Western Union
Autodesk
Dropbox
Okta
Nasdaq
Rakuten
Logitech
Western Union
Autodesk
Dropbox

Zoom - Um lugar para conexões