AI Companion 人工智慧

Zoom 技術長深入探討：我們的聯合式 AI 方法如何最大化效能、品質，並兼顧經濟實惠

5 閱讀分鐘

發佈日期 2023年11月28日

Zoom 技術長深入探討：我們的聯合式 AI 方法如何最大化效能、品質，並兼顧經濟實惠

在此網路日誌中

01 Zoom 的聯合式 AI 方法 - Jumplink to Zoom 的聯合式 AI 方法
02 與其他 LLM 的表現比較 - Jumplink to 與其他 LLM 的表現比較
03 AI 的致勝之道 - Jumplink to AI 的致勝之道

黃學東

技術長

黃學東是技術長 (CTO)。加入 Zoom 之前，他曾在 Microsoft 擔任 Azure AI 技術長和技術研究員。他在人工智慧領域的職業生涯十分輝煌：於 1993 年創立了微軟語音技術小組，領導微軟人工智慧團隊在語音辨識、機器翻譯、自然語言理解和電腦視覺領域實現了多個業界首個堪與人類匹敵的里程碑，是 IEEE 會員和 ACM 院士，並當選為美國國家工程院和美國藝術與科學院院士。

學東於 1989 年獲得愛丁堡大學電子工程博士學位 (英國 ORS 和愛丁堡大學獎學金資助)，1984 年獲得清華大學電腦科學碩士學位，1982 年獲得湖南大學電腦科學學士學位。

請閱讀我們關於 Zoom AI 的最新進展，以及我們聯邦式方法的成效。

從概念到實現的轉型 AI 之旅就像一條蜿蜒曲折的道路，充滿持續的顛覆、適應和創新。在過去的 30 年裡，我一直在這段旅程中身處第一線，且積極參與了 AI 從語音識別和自然語言理解到電腦視覺的演進。自從我加入 Zoom，過去六個月的創新步伐尤其令人驚艷。

在 Zoom，我們正在使用 AI 提升人類協作和生產力。Zoom AI 是我們創新的基石，旨在提高生產力、促進無縫協作，並幫助您獲得更深入的見解，進而強化您在 Zoom 平台上的工作方式。Zoom 採用的聯邦式 AI 方法讓我們能夠在 Zoom Workplace 中免費提供 AI 功能，並將付費服務指派給您的 Zoom 使用者帳戶。*以下將詳細介紹我們的 AI，以及它如何以較低的成本提供高品質的表現。

Zoom 多年來一直提供語音辨識、電腦視覺、機器翻譯和大語言模型 (LLM) 等 AI 服務來強化溝通。我們使用的 LLM 包括 Zoom 的 LLM，以及第三方模型 OpenAI GPT 3.5 和 GPT 4，以及 Anthropic Claude 2。我們的聯合式方法可以納入新的 LLM，例如來自合作夥伴的 OpenAI GPT 4 Turbo，以及開源和閉源 LLM，以持續改善 Zoom 客戶的端對端體驗。

我們堅持具經濟效益的策略，首先採用最適合該任務的低成本 LLM。然後，我們的 Z-Scorer 會評估初始任務完成品質，如有需要，我們會根據初始 LLM 所取得的成果，使用更進階的 LLM 來增強任務完成情況，就像一個有凝聚力的團隊共同合作，將比任何個人更有效率的創造出更高品質的產品。

根據我們內部測試，透過我們的聯邦式 AI 方法，我們的團隊已提升 Zoom AI 相較於單一模型方法的相對品質，例如 OpenAI GPT-3.5 Turbo（根據我們專有的品質評估方法，品質評分的相對差異為 99% 對 93%）或其他幾種最先進的大型語言模型。

我們從成本更低、回應時間更快和輸出品質更高這三個方面綜合衡量效能。與作為 Microsoft Copilot 代理伺服器的 OpenAI GPT-4-32k 相比，我們的會議問題功能可降低成本並加快回應時間，同時保持相近的 AI 品質，如圖 1 所示。

圖 1. Zoom 聯邦式 AI 在進行 Zoom AI 會議查詢工作的成本和品質關鍵指標（以 OpenAI GPT-4-32k 的相對百分比表示）。Microsoft Copilot 使用 OpenAI GPT-4 和 Microsoft Graph 和其他元件進行協調。我們則不使用客戶資料來訓練 AI 模型，而是使用 Zoom 內部會議資料在該圖表中進行基準測試，並使用 OpenAI GPT-4 作為 Microsoft Copilot 的代理伺服器。

我們的多種語言性能進一步體現了我們模型的強大功能，目前除了英語以外，還支援 32 種語言（預覽版）。有鑑於大多數大型語言模型主要使用以英語為主的資料進行預先訓練，因此我們新增了翻譯模型以擴展我們的多種語言功能。透過使用 Zoom 的翻譯模型將非英語轉錄文字翻譯為英語，並將其應用於 Zoom AI 的多種語言會議摘要功能，我們不僅考慮翻譯後的資料，也同時考慮原始資料。如圖 2 所示，我們的模型不僅大幅提升 AI 品質，一舉超越 GPT-3.5，且還能接近 GPT-4-32k 人工智慧品質（相對品質達 97%），而成本卻不到 6%。