AI Companion ミーティングとチャット

AI に対する Zoom のフェデレーテッドアプローチは、もっとも人気のある Zoom 機能に最高品質の結果を提供

Zoom の CTO である Xuedong Huang が、AI に対する Zoom のフェデレーテッドアプローチと、AI が質の高いミーティング要約、概要、ネクストステップを生成する仕組みについて説明します。

8 分で読める

更新日 May 06, 2024

公開日 March 26, 2024

AI に対する Zoom のフェデレーテッドアプローチは、AI Companion のもっとも人気のある機能に高品質の結果を提供

本ブログの内容

01 AI に対する Zoom のフェデレーテッドアプローチは、ユーザーがもっとも必要とするポイントでより一層効果を発揮 - Jumplink to AI に対する Zoom のフェデレーテッドアプローチは、ユーザーがもっとも必要とするポイントでより一層効果を発揮
02 Zoom Workplace とビジネスサービス全体に組み込まれた高品質な AI - Jumplink to Zoom Workplace とビジネスサービス全体に組み込まれた高品質な AI

Xuedong Huang

最高技術責任者

2023 年 11 月、私は AI に対する Zoom のフェデレーテッドアプローチが、どのように OpenAI GPT-4 とほぼ同等の品質を、わずか 6% の推論コストで達成したのかをご紹介しました。その結果と同じくらい印象的だったことは、Zoom においてもっとも人気のあるミーティング機能で、OpenAI の GPT-4 よりも優れた AI 品質を提供できるようになったことです。Zoom AI Companion は、人間が検証した社内のブラインド方式の評価において、GPT-4 と比較した相対誤差を、Zoom のミーティング要約の「総括」については 20% 以上、そして「ネクストステップ」については 60% 削減しました。

タスク完了時の品質を高めるトレーニングへの取り組みをサポートするため、Zoom 独自の AI に対するフェデレーテッドアプローチは、多くのクローズドソースおよびオープンソースの高度な大規模言語モデル（LLM）と連携して、より良い結果のために活用しています。これは、特定の LLM に縛られている他のプロバイダーとは対照的です。たとえば、Microsoft Copilot は GPT-4に、Google は Gemini に依存しています。

このような AI へのアプローチにより、Zoom AI Companion は他とは一線を画し、Zoom でもっとも人気のある機能で質の高い体験をお客様に提供しています。前回の更新でお伝えしたように、当社では AI が生成したアウトプットの品質を判断するために、当社独自の Z スコアラーを使用しています。まず、各タスクにもっとも適した低コストの LLM を採用します。次に、Z スコアラーが最初のタスク完了時の品質を評価します。必要があれば、別の補完的 LLM を使用してタスクを改善することもできます。このプロセスにより、一個人よりも複数人でチームを組んだ方がより多くの成果を達成できるのと同じように、より質の高いアウトプットを生成することができます。

それ以降、Zoom はさまざまな LLM からの品質シグナルを追加して、Z スコアラーを改良してきました。また、人間の好みに一段と近づけるために、フェデレーテッド強化学習を改良しました。Zoom LLM を一連の補完的な LLM と組み合わせて連携することで、人気を誇る Zoom のミーティング要約は高品質の結果を提供します。また、最近の評価によると、GPT-4（Microsoft Teams の Copilot で使用）を上回るパフォーマンスを発揮できるようになりました。

また、AI の安全性についてですが、Zoom はハルシネーションを減らして Zoom LLM を改善するために、Clude-3、Gemini、GPT-4 といった複数の LLM で構成される委員会を結成して、ほとんどの LLM に内在するバイアスを軽減しました。たとえば、異なる LLM が同じハルシネーション系のミスを犯す可能性は低いので、より一貫性のある回答を導き出し、異常値の影響を減らすことができます。

先日、ミーティング要約でもっとも人気のある 2 つのコンポーネント、ミーティング総括とネクストステップについて、作成された結果の評価を実施しました。2023 年 9 月に AI Companion をリリースして以来、50 万人以上の Zoom のお客様がこれらの機能を有効にしています。

最新の社内評価では、各要約の作成にどの AI モデルを使用したかを伏せたうえで、人間の審査員にもっとも正確なミーティング要約はどれかを選んでもらいました。下のグラフに示すように、Zoom LLM は各ブラインドテスト（対象言語: 英語）において、ミーティング総括でもネクストステップの抽出でも GPT-4 を上回りました。Zoom は、ミーティング総括の相対誤差を 20% 以上、ネクストステップの相対誤差を 60% 以上削減することに成功しました。これは優れた品質上の利点に直結します。

図 1: 英語版のミーティング総括とネクストステップに対する人間の評価。Zoom LLM と Anthropic Claude-3 を連携させて作成した最終結果は、OpenAI GPT-4 が単独で作成した結果を大きく凌駕。

また、Zoom LLM を使用した日本語のミーティング要約全体の品質を、GPT-4 と比較して測定しました。下のグラフからわかるように、Zoom のフェデレーテッドアプローチは、より優れた結果を出すことができました。

図 2: 日本語のミーティング要約全体に対する人間の評価。Zoom LLM と OpenAI GPT-4 を連携させることで、OpenAI GPT-4 を単独で使用した場合よりも優れた最終結果を作成。

Zoom では、Zoom プラットフォーム全体で Zoom AI Companion のメリットを、対象となる有料 Zoom プランにおいて追加費用なしで提供できるように全力を尽くしています。* このように AI の品質向上に徹底的にこだわることで、Zoom Workplace と Zoom ビジネスサービスにおける顧客価値を高めています。さらに、Zoom が委託した GigaOm の調査（2024年3月26日公開）によると、AI Companion の文字起こしは 95% の精度を叩き出し、ミーティング内質問の場合、AI Companion は ChatGPT-4（ウェブ）と比較して 4 倍の速さで結果を生成したことが判明しています。

このような最新のイノベーションにより、業界最高レベルの AI 品質で作成したミーティング要約を、すべての Zoom ミーティングにおいて確実に提供できるようになりました。