Pada November 2023, saya pernah membahas bagaimana pendekatan AI terintegrasi Zoom mencapai kualitas yang hampir setara dengan OpenAI GPT-4 dengan hanya 6% dari biaya inferensi. Meskipun hasil tersebut sudah mengesankan, kini kami dapat memberikan kualitas AI yang lebih baik lagi dibandingkan GPT-4 OpenAI untuk fitur rapat kami yang paling populer. Zoom AI Companion mengurangi kesalahan relatif lebih dari 20% (untuk "rekap" ringkasan rapat Zoom) dan 60% (untuk "langkah selanjutnya") dibandingkan dengan GPT-4 dalam pembandingan internal buta yang divalidasi oleh manusia.Â
Dalam mendukung upaya pelatihan kami dalam meningkatkan kualitas penyelesaian tugas, pendekatan terintegrasi kami yang unik untuk AI memanfaatkan banyak model bahasa besar (LLM) sumber tertutup dan terbuka yang bekerja sama untuk hasil yang lebih baik. Hal ini berbeda dengan penyedia lain yang terikat pada LLM tertentu. Misalnya, Microsoft Copilot mengandalkan GPT-4 dan Google mengandalkan Gemini.
Pendekatan terintegrasi terhadap AI inilah yang membedakan Zoom AI Companion, memberikan pengalaman berkualitas tinggi kepada pelanggan dengan fitur kami yang paling populer. Seperti yang saya sampaikan dalam pembaruan terakhir saya, kami menggunakan Z-scorer milik kami untuk menilai kualitas output yang dihasilkan AI kami. Pertama, kami menggunakan LLM berbiaya rendah yang paling sesuai untuk setiap tugas. Kemudian, Z-scorer kami mengevaluasi kualitas penyelesaian tugas awal. Jika diperlukan, kami dapat menggunakan LLM pelengkap lainnya untuk menyempurnakan tugas. Proses ini menghasilkan output dengan kualitas lebih tinggi, sama seperti tim yang terdiri dari beberapa orang dapat menyelesaikan lebih banyak hal secara bersama-sama dibandingkan dengan satu orang saja.
Kami terus menyempurnakan Z-scorer kami dengan memasukkan sinyal kualitas tambahan dari berbagai LLM. Selain itu, untuk lebih menyelaraskan dengan preferensi manusia, kami meningkatkan pembelajaran penguatan terintegrasi. Dengan mengintegrasikan Zoom LLM bersama dengan LLM pelengkap lainnya, ringkasan rapat Zoom yang populer menghasilkan kualitas tinggi dan, menurut benchmark terbaru kami, kini dapat mengungguli GPT-4, yang digunakan untuk mendukung Copilot di Microsoft Teams.
Dalam hal keamanan AI, kami juga mengurangi bias bawaan di sebagian besar LLM dengan membentuk komite yang terdiri dari beberapa LLM seperti Claude-3, Gemini, dan GPT-4 untuk mengurangi halusinasi dan meningkatkan LLM Zoom kami. Misalnya, LLM yang berbeda tidak mungkin membuat kesalahan halusinasi yang sama, sehingga kami bisa mendapatkan respons yang lebih konsisten dan mengurangi dampak dari respons yang tidak akurat.Â