Zoom Video SDK'sı Performans Raporu

Yazılımlar için bir kalite kontrolü ve özel test aracı geliştirme sağlayıcısı olan TestDevLab, Zoom Video SDK'sı ve diğer dört Video SDK'sı satıcısı (Agora, Vonage TokBox, Chime ve Twilio) hakkında bir analiz gerçekleştirmiştir. Analiz kapsamında, her platformun davranışlarının ve her Video SDK'sının nihai kalitesinin anlaşılması amaçlanmıştır. Söz konusu analiz, Zoom Communications, Inc. tarafından yaptırılmıştır. Bu raporda sunulan bulgularla, TestDevLab tarafından 12 Mayıs 2022 tarihinde gerçekleştirilen testlerin sonuçları yansıtılmaktadır.

Bu rapor ilk olarak Video SDK kalitesini değerlendirirken dikkat edilmesi gereken hususları açıklamaktadır. Ardından, özellikle performans kalitesine, bant genişliğinin korunmasına ve %25 paket kaybı sırasında merkezi işlem birimi (CPU) ve rastgele erişimli bellek (RAM) kullanımının düşük tutulmasına bakılarak sonuçların bir analizi sunulmuştur. Test ortamına ilişkin ayrıntılar ekte verilmiştir.

Zoom; kullanımı kolay, hafif ve son derece özelleştirilebilir olmak üzere tasarlanan Video SDK'sının genel kalitesinin yüksek olması için çok çaba göstermiştir. Kötü ağ senaryolarında, mobil kullanım durumlarında ve temsili kırsal ve uzak konumlarda bile Zoom Video SDK'sının test sonuçları son derece başarılıdır.

TestDevLab, Video SKD'larının bant genişliği, CPU ve RAM gibi kısıtlı kaynakları nasıl ele aldığını görmeye yönelik testler de yapmıştır. Zoom Video SDK'sı, bu testlerde de yüksek performans göstermeyi sürdürmüştür.

TestDevLab, dünya genelinde filiz şirketlerin ve Fortune 500 şirketlerinin sürüm döngülerini hızlandırmasına, ürün kalitelerini artırmasına ve daha iyi kullanıcı deneyimi sunmasına yardımcı olmaktadır. TestDevLab, sunduğu hizmet ve çözümlerin bir parçası olarak, SDK'lar için test otomasyon hizmetlerinin yanı sıra yenilikçi ses/video kalitesi testleri ve karşılaştırmaları ve işlevsel, gerileme, güvenlik ve integrasyon testleri sunmakta ve en iyi uygulamaları takip ederek endüstri standardı test araçları ve özel test çözümleri kullanmaktadır.

Video SDK kalitesini değerlendirirken, aşağıdakiler de dahil olmak üzere dikkate alınması gereken birçok farklı husus vardır:

Kullanıcı Cihazları: TestDevLab'ın kapsamı, karşılaştırılabilmelerini sağlamak için tüm SDK'larda aynı cihazları test etmekti.

Ağ Sınırlamaları: Karşılaştırmalı bir analiz yapabilmek için şebeke koşullarının kontrol edilebilir olması gerekir. TestDevLab, sınırsız, göndericiye uygulanan sınırlı bant genişliği, alıcıya uygulanan sınırlı bant genişliği ve rastgele %25 paket kaybı olmak üzere dört ağ sınırlamasına odaklanmıştır. Kaliteli bir bağlantı sağlamak için her cihaz farklı bir yönlendiriciye bağlanır.

Öngörülebilirlik & Tekrarlanabilirlik: TestDevLab, dört testten oluşan test koşularına bölünmüş sekiz test gerçekleştirdi. Her test, olası küresel ağ tıkanıklıklarının/beklenmedik hizmet yavaşlamalarının vb. etkisini azaltmak için farklı zamanlarda yapıldı. TestDevLab bu testler arasından en istikrarlı davranışa sahip beş testi seçti.

Analiz: Sonuçları analiz etmek için TestDevLab bir süreç içi doğrulama gerçekleştirmiştir. Tüm testler için zaman içindeki sonuçların yanı sıra öznel bir bakışa kıyasla veri geçerliliğini doğrulamak için nokta kontrol videoları da inceliyorlar.

TestDevLab, her senaryo için testleri birden çok kez gerçekleştirdi. TestDevLab, her testte ve tüm tedarikçiler için birden fazla kez çalıştırıldığında aynı senaryoda istikrarlı sonuçlar gördü. TestDevLab sonuçları analiz ederken şunlara baktı:

Performans Kalitesi. TestDevLab, çeşitli ağ koşulları altında ses gecikmesi ve video gecikmesinin kalitesini analiz etti. Ayrıca kare hızı karşılaştırmasına, saniye başına kare sayısına (FPS) ve Video Çoklu Yöntem Değerlendirme Füzyonuna (VMAF) baktılar.

İdeal Olmayan Ağ Koşulları Altında Kaynak Yönetimi. TestDevLab, satıcıların paket kaybı durumunda kaynakları nasıl yönettiğini inceledi.

CPU/RAM Kullanımı. TestDevLab, satıcıların bir uygulama stres altındayken kaynakları nasıl tükettiğini inceledi, örn. birçok katılımcının videosu bir galeri görünümünde işlenir.

Farklı ağ durumlarında, performansın kalitesi önem taşır. TestDevLab tarafından, sınırsız bir ağda ses gecikmesi, video gecikmesi ve kare hızları test edilmiştir.

Farklı satıcılarla yapılan ses gecikmesi testinde, çok az daha fazla gecikmeyle çalışan Chime bir istisna olmak kaydıyla, tüm satıcılarda benzer bir gecikme olduğu bulunmuştur.

Video gecikmesi karşılaştırıldığında ise Zoom, Agora, Twilio ve Chime'ın çoğunlukla 250 ms'nin altında bir video gecikmesine sahip olduğu görülmüştür. Buna karşılık, Vonage TokBox uygulamasında 250 ms'den 1.000 ms'ye varan video gecikmeleri söz konusu olmuştur.

Kare hızları karşılaştırıldığında ise, görüntülü aramalarda Zoom'un en yüksek kare hızına sahip olduğu ortaya konmuştur.

Elde edilen sonuçlara göre, test edilen tüm ağ koşullarında Zoom'un en istikrarlı video kalitesine sahip olduğu görülmüştür. Teste, bant genişliği kısıtlaması uygulanmadan başlandıktan sonra, önce gönderici tarafında, ardından da alıcı tarafında olmak üzere tüm satıcılara düşük bant genişliği sınırlaması uygulanmıştır.

Ardından TestDevLab, %25 paket kaybı senaryosu sırasında kaynakların dayanıklılığına bakmıştır. Paket kaybı ağ hızlarının düşmesine neden olabilir, darboğazlara yol açabilir, ağ aktarım hızı bant genişliğinizi kesintiye uğratabilir ve masraflı olabilir. Paket kaybı, farklı nedenlerden dolayı görülebilir ve bu nedenlerin çoğu kasıtlı değildir. Bu nedenler arasında ağ yoğunluğu, özellikle mobil ağların güvenilir olmaması, yazılım hataları ve aşırı yüklenen cihazlar sayılabilir.

%25'lik bir paket kaybına yer verilen testlerde Zoom, paket kaybı ve sınırlanmış ağ koşulları altında bant genişliğinin korunması ve CPU ve bellek kullanımının düşük tutulması bakımından iyi bir performans sergilemiştir. Zoom, akıllı bir yönetim sunar ve çağrı kalitesini sürdürürken kaynakların korunmasını sağlar.

Öte yandan, testler Agora'nın paket kaybına karşı farklı bir yaklaşımı olduğunu gösterdi - paket kaybıyla başa çıkmak için çok fazla bant genişliği harcıyor. Sınırlı bit hızı paket kaybına neden oluyorsa, daha fazla bant genişliği tüketmeye çalışmak sorunlara neden olabilir.

%25'lik paket kaybında ses kalitesi karşılaştırıldığında, Zoom ve Agora uygulamalarının 4,00 MOS üzeri değerlerle ses kalitesini başarılı bir şekilde ele aldığı görülmüştür. Ancak Twilio’nun ses kalitesinin kullanılamaz olduğu ve Chime’ın kalitesinin 3,00 MOS altında düzeylerle kullanılamaza yakın olduğu görülmüştür.

25'lik paket kaybı sırasında ses gecikmesine bakıldığında, Zoom, paket kaybıyla başa çıkmak için 200 - 250 ms'lik daha önemli bir artışa sahip olan Agora'ya kıyasla yaklaşık 100 ms arttı.

Ağ Bit Hızı karşılaştırması sırasında, hem Twilio hem de Chime uygulamalarının istikrarsız olduğu ve varsayılan olarak çok düşük bit hızlarına geçtiği görülmüştür. Buna karşılık, Agora’nın bit hızının çok yüksek olduğu ve dolayısıyla ürünün yoğun bir ağı paket kaybının nedeni olarak görmediği ortaya konmuştur.

CPU kullanımı söz konusu olduğunda, tüm test senaryolarında diğer dört tedarikçiye kıyasla en az CPU miktarını Zoom kullanmıştır.

En düşük RAM kullanımı da yine Zoom için gözlenmiştir. Aşağıdaki tabloda gösterildiği gibi, Twilio ve Chime uygulamalarının ikisi de %25'lik bir paket kaybı sırasında yaklaşık 500 MB RAM kullanırken Agora da görüntülü aramalarda 3 GB+ kullanmıştır.

Daha düşük CPU ve RAM kullanımının faydaları arasında şunlar sayılabilir:

Daha düşük bir CPU ve RAM kullanımı gerçek zamanlı A/V'nin video oyunları ve CAD ve 3D tasarım gibi grafik iş birliği uygulamaları gibi kaynak tüketimi yüksek diğer uygulamalar gömülmesi için en uygun kullanım durumudur.

TestDevLab, kullanıcı sayısına göre CPU kullanımına, zaman içinde CPU kullanımına ve zaman içinde bellek kullanımına da bakmıştır. Testler sırasında elde edilen sonuçlar, Zoom Video SDK'sının düşük CPU kullandığını göstermiştir. Yukarıda da belirtildiği gibi, düşük CPU kullanımı daha iyi bir kullanıcı deneyimi sunulmasını, daha fazla kaynağın kullanılabilir olması sayesinde uygulamanın daha iyi performans göstermesini ve uygulamanın fazla pil harcadığı konusunda daha az şikayet alınmasını sağlayabilir.

Aynı testler sırasında, Agora 32 kareli bir galeri görünümünü barındıramamıştır. Ayrıca, Vonage TokBox sürekli olarak diğer satıcılardan daha fazla CPU kullanmıştır.

Zoom Video SDK'sı; bant genişliği, CPU ve RAM gibi kısıtlı kaynakların bulunduğu senaryolar da dahil tüm ağ senaryoları için iyi bir seçenektir.

TestDevLab tarafından yapılan testler, her senaryo için birden fazla kez yapılmıştır ve her seferinde istikrarlı sonuçlar elde edilmiştir. Zoom Video SDK'sı, aşağıdaki özellikleri sayesinde öne çıkmıştır:

Zoom video SDK sayfasını ziyaret ederek geliştirmenizi nasıl hızlandıracağınızı ve tamamen özelleştirilebilir video tabanlı uygulamaları nasıl oluşturacağınızı öğrenin.

Zoom Video SDK'sını ve Agora, Vonage TokBox, Chime ve Twilio tarafından sunulan Video SDK'larını içeren Video SDK'ları önceden tanımlanmış senaryolar kapsamında test edilmiştir.

TestDevLab, beş tedarikçinin her birini iki farklı miktarda katılımcının yer aldığı ve dört farklı ağ sınırlamasının (sınırlamasız, göndericiye uygulanan sınırlama, alıcıya uygulanan sınırlama ve %25 paket kaybı) uygulandığı üç farklı test türü yoluyla test etmiştir. TestDevLab farklı zamanlarda gerçekleştirilen dört sefere bölünen toplam sekiz test gerçekleştirmiştir. TestDevLab, daha sonra, bu testler arasından en istikrarlı davranışların gözlendiği beş testi alarak analiz yapmış ve sonuçlar elde etmiştir.

CPU ve RAM kullanımını farklı yük düzeyleri altında test etmek isteyen TestDevLab, toplam 48 kullanıcının yer aldığı bir aramayla başlatılan bir yük testi gerçekleştirmiştir. Video akışı sürerken, TestDevLab tablodaki kullanıcı sayısını 60 saniyede bir değiştirerek 32, 16, 8*, 4, ve 2 kullanıcılı senaryoları test etmiştir.

Performans testleri için, TestDevLab platformu şu şekilde yapılandırılmıştır:

TestDevLab performans analizleri için görüntülü arama, dinamik ekran paylaşımı ve statik ekran paylaşımı test senaryolarını gerçekleştirmiştir. Her senaryo, farklı sayıda katılımcıyla beş kez test edilmiştir. Aşağıdaki süreç izlenmiştir:

* TestDevLab testlerinin tasarımında, 8 katılımcılı bir galeri testine de yer verilmiştir. Ancak bu testin uygulanmasında yanlış bir çözünürlük kullanıldığı için bu testle elde edilen sonuçlar analizlere ve rapora dahil edilmemiştir.