En jämförande analys av Zoom Video SDK
TestDevLab – en utvecklingsleverantör för kvalitetssäkring av programvara och anpassade testverktyg – utförde en analys av Zoom Video SDK och fyra andra Video SDK-leverantörer: Agora, Vonage TokBox, Chime och Twilio. Målet var att förstå hur varje plattform beter sig och vilken den resulterande kvaliteten blir för varje Video SDK. Analysen beställdes av Zoom Communications, Inc. Resultaten som tillhandahålls i denna rapport speglar TestDevLabs testresultat från 12 maj 2022.
Denna rapport beskriver först överväganden vid bedömning av Video SDK-kvalitet. Därefter presenteras en analys av resultaten, där man särskilt tittar på prestandakvalitet, uthållighet i fråga om bandbredd och att hålla nere användningen av CPU (central processing unit) och RAM (random-access memory) under en paketförlust på 25%. Detaljer om testmiljön finns i appendix.
Zoom har lagt ner mycket arbete på att skapa en Video SDK av hög kvalitet som är utformad för att vara resursbesparande, enkel att anpassa och lätt att använda. Även under bristfälliga nätverksförhållanden, användningsfall med mobilanvändning och simulerade lantliga eller avlägsna platser var testresultaten för Zoom Video SDK mycket goda.
TestDevLab körde även test för att se hur Video SDK hanterar begränsade resurser som bandbredd, CPU och RAM. Zoom Video SDK fortsatte att prestera väl.
TestDevLab hjälper startups och Fortune 500-företag över hela världen att snabba på sina lanseringscykler, förbättra produktkvaliteten och förbättra användarupplevelsen. Som en del av sina tjänster och lösningar erbjuder TestDevLab innovativa test för ljud- och videokvalitet, test för benchmarking, funktionalitet, regression, säkerhet och integrering samt testautomatiseringstjänster för SDK, som följer bästa praxis och använder anpassade testlösningar och testverktyg som följer branschstandarden.
Vid bedömning av Video SDK-kvalitet finns det många olika aspekter som måste beaktas, bland annat
Användarens enheter: TestDevLabs mål var att testa samma enheter på alla SDK:er för att säkerställa att de kan jämföras.
Begränsningar i nätet: För att kunna genomföra en jämförande analys måste nätverksförhållandena vara kontrollerbara. TestDevLab fokuserade på fyra nätverksbegränsningar, inklusive obegränsad, begränsad bandbredd för avsändaren, begränsad bandbredd för mottagaren och slumpmässig 25% paketförlust. Varje enhet är ansluten till en annan router för att säkerställa en högkvalitativ anslutning.
Förutsägbarhet & Repeterbarhet: TestDevLab genomförde åtta tester uppdelade i testkörningar om fyra tester. Varje test gjordes vid olika tidpunkter för att minska påverkan av eventuell global nätverksbelastning/ oväntade serviceavmattningar etc. Från dessa tester tog TestDevLab fem tester med det mest stabila beteendet över dem.
Analys av resultaten: För att kunna analysera resultaten genomförde TestDevLab en validering under processens gång. De går igenom resultaten över tid för alla tester samt stickprovskontroller av videor för att bekräfta datavaliditeten jämfört med en subjektiv bedömning.
TestDevLab genomförde testerna för varje scenario flera gånger. I varje test och för alla leverantörer såg TestDevLab stabila resultat i samma scenario när det kördes flera gånger. När TestDevLab analyserade resultaten tittade man på:
Kvalitet på utförandet. TestDevLab analyserade kvaliteten på ljudfördröjning och videofördröjning under olika nätverksförhållanden. De tittade också på jämförelse av bildhastighet, bilder per sekund (FPS) och Video Multimethod Assessment Fusion (VMAF).
Resurshantering under oideala nätverksförhållanden. TestDevLab tittade på hur leverantörer hanterade resurser under en situation med paketförlust.
CPU/RAM-användning. TestDevLab tittade på hur leverantörer förbrukar resurser när en applikation är under stress, t.ex. många deltagares video återges i en gallerivy.
Prestandakvalitet är viktigt för en mängd olika nätverksförhållanden. TestDevLab testade ljudfördröjning, videofördröjning och bildhastighet med ett obegränsat nätverk.
Vid testet av ljudfördröjning mellan olika leverantörer såg man att samtliga hade en jämförbar fördröjning, med undantag för Chime, som uppvisade en något längre fördröjning.
När videofördröjningen jämfördes hade Zoom, Agora, Twilio och Chime en videofördröjning på under 250 ms. Vonage TokBox hade däremot videofördröjningar från 250 ms upp till 1 000 ms.
Vid jämförelse av bildhastighet visade testet att Zoom hade den högsta bildhastigheten för videosamtal.
Resultaten visade också att Zoom hade den mest konsekventa videokvaliteten under alla testade nätverksförhållanden. Testet började utan bandbreddsbegränsningar och därefter tillämpades en begränsning med låg bandbredd på alla leverantörer, först på sändarsidan och sedan på mottagarsidan.
Sedan tittade TestDevLab på källornas beständighet under ett scenario med 25 % paketförlust. Paketförlust kan leda till långsammare nätverkshastighet, orsaka flaskhalsar, avbryta nätverkets bandbreddsgenomströmning och bli kostsamt. Paketförlust kan uppstå av många olika anledningar, och många av dem är oavsiktliga. Nätverksöverbelastning, opålitliga nätverk (särskilt mobila), programvarubuggar och överbelastade enheter är några exempel.
I testen, som inkluderade en paketförlust på 25 %, presterade Zoom väl när det kom till att bevara bandbredd, samt att hålla CPU- och minnesanvändningen låg under paketförlust och begränsade nätverksförhållanden. Zoom har smart hantering och är konservativt när det gäller att upprätthålla samtalskvaliteten.
Å andra sidan visade testerna att Agora verkar ha en annan inställning till paketförlust - att spendera mycket bandbredd för att försöka hantera paketförlusten. Om den begränsade bithastigheten är orsaken till paketförlusten kan försök att förbruka mer bandbredd orsaka problem.
Vid jämförelsen av ljudkvaliteten vid en paketförlust på 25 % hanterade Zoom och Agora ljudkvaliteten på ett bra sätt, med nivåer över 4,00 MOS. Twilios ljudkvalitet, å andra sidan, var oanvändbar, och Chimes kvalitet var nästan oanvändbar, med nivåer under 3,00 MOS.
När man tittar på ljudfördröjningen vid 25% paketförlust ökade Zoom med cirka 100 ms jämfört med Agora, som hade en mer betydande ökning på 200 - 250 ms för att hantera paketförlust.
Under jämförelsen av nätverksbithastighet visade testet att både Twilio och Chime var instabila och växlade till mycket låga bithastigheter som standard. Agoras bithastighet var å andra sidan mycket hög, vilket visar att produkten kanske inte tar med ett överbelastat nätverk i beräkningen när orsaken till paketförlust ska utvärderas.
När det kommer till CPU-användning förbrukade Zoom minst CPU jämfört med de fyra andra leverantörerna i samtliga testscenarier.
Zoom hade också den lägsta RAM-användningen. Som diagrammet nedan visar använde både Twilio och Chime omkring 500 MB RAM under en paketförlust på 25 % och Agora använde över 3 GB vid videosamtal.
Fördelarna med lägre CPU- och RAM-användning inkluderar:
Lägre CPU- och RAM-användning är det perfekta användningsfallet för inbäddad realtids-A/V i andra applikationer med hög resursanvändning, som videospel och grafiska samarbetsapplikationer som CAD och 3D design.
TestDevLab undersökte CPU-användning per användarantal, CPU-användning över tid och minnesanvändning över tid. Under testen visade resultaten att Zoom Video SDK hade låg CPU-användning. Som nämns ovan kan lägre CPU-användning leda till en god användarupplevelse, bättre app-prestanda med fler tillgängliga resurser och färre klagomål om att appen använder mycket batteri.
Under vissa test kunde Agora inte hantera en gallerivy med 32 rutor. Dessutom använde Vonage TokBox genomgående mer CPU än andra leverantörer.
Zoom Video SDK är ett bra alternativ för alla nätverksscenarier, inklusive de med begränsade resurser som bandbredd, CPU och RAM.
TestDevLabs test kördes flera gånger för varje scenario och resultaten var konsekventa varje gång. Resultaten för Zoom Video SDK utmärkte sig bland de övriga på grund av:
Läs mer om hur du kan påskynda din utveckling och bygga helt anpassningsbara videobaserade applikationer genom att besöka sidan Zoom video SDK.
Video SDK:er, inklusive Zoom Video SDK, Agora, Vonage TokBox, Chime och Twilio, testades i ett antal fördefinierade scenarier.
TestDevLab testade alla fem leverantörerna utifrån tre olika testtyper, med två olika deltagarmängder och fyra olika nätverksbegränsningar, inklusive obegränsat, med begränsningar tillämpade på avsändaren, med begränsningar tillämpade på mottagaren och med 25 % paketförlust. TestDevLab körde åtta test uppdelade i fyra test som kördes vid olika tider. Utifrån det valde TestDevLab ut de fem test som genomgående hade det mest stabila beteendet för att skapa analyser och resultat.
För att testa CPU- och RAM-användningen under olika arbetsbelastningar skapade TestDevLab ett stresstest som började med totalt 48 användare i samtalet. Medan videon streamades ändrade TestDevLab antalet användare i rutnätet var 60:e sekund för att testa scenarier med 32, 16, 8*, 4 och 2 användare.
För prestandatesten konfigurerades TestDevLab-plattformen på följande sätt:
TestDevLab utförde testscenarier med videosamtal, dynamisk videodelning och statisk skärmdelning för prestandaanalysen. Varje scenario testades fem gånger med olika deltagarantal. Följande process användes:
* TestDevLab-testdesignen inkluderade också ett galleritest med 8 deltagare, men implementeringen av det här testet använde en felaktig upplösning och resultaten av det togs inte med i analysen och rapporten.
