Kasım 2023'te Zoom'un birleştirilmiş yapay zeka yaklaşımının, çıkarım maliyetinin yalnızca %6'sı ile OpenAI GPT-4'e neredeyse eşit kaliteye ulaştığını paylaşmıştım. Bu sonuçlar ne kadar etkileyici olsa da, artık en popüler toplantı özelliklerimiz için OpenAI GPT-4'e kıyasla daha da iyi yapay zeka kalitesi sunabiliyoruz. Zoom AI Companion, insan onaylı gözü kapalı kıyaslamamızda GPT-4'e kıyasla göreli hataları %20'nin üzerinde (Zoom toplantı özetinin "özetleri" için) ve %60 ("sonraki adımlar" için) azalttı.
Görev tamamlama kalitesini iyileştirmeye yönelik eğitim çabalarımızı desteklemek üzere, yapay zekaya yönelik benzersiz birleştirilmiş yaklaşımımız, daha iyi sonuçlar için birlikte çalışan birçok kapalı ve açık kaynaklı gelişmiş büyük dil modelinden (LLM'ler) yararlanır. Bu, belirli LLM'lere bağlı olan diğer sağlayıcılarda söz konusu olmayan bir durumdur. Örneğin, Microsoft Copilot GPT-4'e, Google ise Gemini'ye dayanmaktadır.
Yapay zekaya yönelik bu yaklaşım, Zoom AI Companion'ı diğerlerinden ayırıyor ve müşterilerimize en popüler özelliklerimizle yüksek kaliteli bir deneyim sunuyor. Son güncellememde paylaştığım üzere, yapay zeka tarafından üretilen çıktılarımızın kalitesini değerlendirmek için tescilli Z puanlama aracımızı kullanıyoruz. İlk olarak, her görev için uygun düşük maliyetli bir LLM kullanıyoruz. Ardından, Z puanlama aracımız ilk görev tamamlama kalitesini değerlendiriyor. Gerekirse görevi iyileştirmek için başka bir tamamlayıcı LLM kullanabiliyoruz. Bu süreç, tıpkı bir grup insanın birlikte tek bir bireyden daha fazlasını başarabilmesi gibi, daha yüksek kaliteli çıktılar sunuyor.
O zamandan bu yana Z puanlama aracımızı çeşitli LLM'lerden gelen ek kalite sinyallerini dahil ederek geliştirdik. Ayrıca, insan tercihiyle daha uyumlu olabilmek için birleştirilmiş pekiştirme öğrenimini iyileştirdik. Zoom LLM'yi bir dizi tamamlayıcı LLM ile bir araya getirerek Zoom'un popüler toplantı özeti, yüksek kaliteli sonuçlar sunuyor ve son kıyaslamalarımıza göre artık Microsoft Teams'de Copilot'ı etkinleştirmek için kullanılan GPT-4'ten daha iyi performans gösterebiliyor.
Yapay zeka güvenliği ile ilgili olarak, halüsinasyonları azaltmak ve Zoom LLM'mizi geliştirmek için Claude-3, Gemini ve GPT-4 gibi birden fazla LLM'den oluşan bir komite oluşturarak çoğu LLM'de doğal olarak bulunan ön yargı etkisini de azalttık. Örneğin, farklı LLM'lerin aynı halüsinasyon hatasını yapma olasılığı düşük olduğundan daha tutarlı yanıtlar türetebilir ve uç değerlerin etkisini azaltabiliriz.