Een vergelijkende analyse van Zoom Video SDK
TestDevLab, aanbieder van kwaliteitsborging voor software en ontwikkelaar van testtools op maat, heeft een analyse uitgevoerd van de Zoom Video SDK en vier andere Video SDK-aanbieders: Agora, Vonage TokBox, Chime en Twilio. Deze analyse had als doel inzicht te krijgen in het gedrag van elk platform en de kwaliteit van elke Video SDK. De analyse werd uitgevoerd in opdracht van Zoom Communications, Inc. De bevindingen in dit rapport zijn gebaseerd op de testresultaten van TestDevLab van 12 mei 2022.
In dit rapport wordt eerst beschreven welke overwegingen zijn gebruikt bij het beoordelen van de kwaliteit van de Video SDK. Vervolgens wordt een analyse van de resultaten gepresenteerd. Er is specifiek gekeken naar de kwaliteit van de prestaties, het behoud van bandbreedte en het gebruik van de Central Processing Unit (CPU) en het random-access memory (RAM) bij een pakketverlies van 25%. Details over de testomgeving vind je in de bijlage.
Zoom heeft veel moeite gedaan voor de algehele kwaliteit van zijn Video SDK, die is ontworpen om gebruiksvriendelijk, licht en uiterst aanpasbaar te zijn. Zelfs in slechte netwerkomstandigheden, bij mobiel gebruik en in simulaties van landelijke of afgelegen locaties waren de testresultaten van de Zoom Video SDK uitstekend.
TestDevLab heeft ook onderzocht hoe Video SDK's reageerden op beperkingen van resources, zoals bandbreedte, CPU en RAM. De Zoom Video SDK bleef goed presteren.
TestDevLab helpt start-ups en Fortune 500-bedrijven wereldwijd om hun releasecycli te versnellen en hun productkwaliteit en gebruikservaring te verbeteren. Als onderdeel van zijn diensten en oplossingen biedt TestDevLab innovatieve tests en benchmarks van de audio-/videokwaliteit, functionele tests, regressietests, beveiligingstests en integratietests, evenals testautomatiseringsdiensten voor SDK's, in overeenstemming met best practices en met behulp van testtools en testoplossingen op maat die voldoen aan de normen van de sector.
Bij het beoordelen van de Video SDK-kwaliteit moet met veel verschillende aspecten rekening worden gehouden, zoals:
Apparaten van gebruikers: TestDevLab koos ervoor de SDK's op dezelfde apparaten te testen om een goede vergelijking mogelijk te maken.
Netwerkbeperkingen: om een vergelijkende analyse te kunnen uitvoeren, moeten de netwerkomstandigheden beheersbaar zijn. TestDevLab richtte zich op vier netwerkbeperkingen: onbeperkt, beperkte bandbreedte toegepast op de afzender, beperkte bandbreedte voor de ontvanger en willekeurig pakketverlies van 25%. Elk apparaat werd met een andere router verbonden om een hoogwaardige verbinding te waarborgen.
Voorspelbaarheid en herhaalbaarheid: TestDevLab voerde acht tests uit, opgesplitst in testruns van vier tests. Elke test werd op een ander moment uitgevoerd om de impact van eventuele congestie van het wereldwijde netwerk/onverwachte servicevertragingen en dergelijke te verminderen. Van deze tests koos TestDevLab er vijf met het meest stabiele gedrag.
Analyse: om de resultaten te analyseren, voerde TestDevLab een validatie uit tijdens het proces. TestDevLab volgde de resultaten voor alle tests in de loop van de tijd en voerde steekproeven van video's uit om de geldigheid van de gegevens te bevestigen door vergelijking met een subjectief oogpunt.
TestDevLab voerde de tests voor elk scenario meerdere keren uit. Bij elke test en voor alle aanbieders zag TestDevLab stabiele resultaten voor hetzelfde scenario wanneer de test meerdere keren werd uitgevoerd. Bij het analyseren van de resultaten keek TestDevLab naar:
De kwaliteit van de prestaties. TestDevLab analyseerde de kwaliteit van audio- en videovertraging bij verschillende netwerkomstandigheden. Ook beoordeelde het bedrijf de framesnelheidsvergelijking, frames per seconde (FPS) en Video Multimethod Assessment Fusion (VMAF).
Resourcemanagement in niet-ideale netwerkomstandigheden. TestDevLab onderzocht hoe aanbieders hun resources beheerden in een situatie van pakketverlies.
CPU-/RAM-gebruik. TestDevLab onderzocht hoe de aanbieders resources verbruikten wanneer een toepassing zwaar werd belast, bijv. bij het tonen van de videobeelden van veel deelnemers in een galerijweergave.
De kwaliteit van de prestaties is van belang in verschillende netwerkomstandigheden. TestDevLab testte de audiovertraging, videovertraging en framesnelheden met een netwerk zonder beperkingen.
Uit de tests van de audiovertraging bij de verschillende aanbieders bleek dat er over de hele linie een vergelijkbare vertraging was, met uitzondering van Chime, dat een iets langere vertraging liet zien.
Uit de vergelijking van de videovertraging bleek dat de videovertraging van Zoom, Agora, Twilio en Chime meestal onder de 250 ms lag. De videovertraging van Vonage TokBox varieerde echter van 250 ms tot 1000 ms.
Bij het vergelijken van de framesnelheden bleek dat Zoom de hoogste framesnelheid heeft tijdens videogesprekken.
De resultaten lieten ook zien dat Zoom de meest constante videokwaliteit bood in alle geteste netwerkomstandigheden. De test begon zonder bandbreedtebeperkingen, gevolgd door een bandbreedtebeperking voor alle aanbieders, eerst aan de verzenderzijde en vervolgens aan de ontvangerzijde.
Vervolgens keek TestDevLab naar het behoud van bronnen in een situatie met 25% pakketverlies. Pakketverlies kan de netwerksnelheid verlagen, knelpunten veroorzaken, de bandbreedte voor netwerkdoorvoer belemmeren en hoge kosten veroorzaken. Pakketverlies kan door verschillende factoren worden veroorzaakt, waarvan er veel onbedoeld zijn. Netwerkcongestie, onbetrouwbare netwerken (met name mobiele netwerken), softwarebugs en overbelaste apparaten zijn daar enkele van.
Tijdens de tests met een pakketverlies van 25% presteerde Zoom goed in het behouden van bandbreedte en het laag houden van het CPU- en geheugengebruik in omstandigheden met pakketverlies en netwerkbeperkingen. Zoom biedt slim beheer en is conservatief terwijl de gesprekskwaliteit behouden blijft.
Anderzijds bleek uit de tests dat Agora een andere aanpak van pakketverlies leek te hanteren, namelijk het inzetten van veel bandbreedte om te proberen pakketverlies tegen te gaan. Als de beperkte bitrate de oorzaak van pakketverlies is, kunnen pogingen om meer bandbreedte te gebruiken tot problemen leiden.
Bij een vergelijking van de audiokwaliteit bij 25% pakketverlies boden Zoom en Agora een goede audiokwaliteit, met niveaus boven de 4,00 MOS. De audiokwaliteit van Twilio was echter onbruikbaar slecht en de kwaliteit van Chime was vrijwel onbruikbaar slecht, met niveaus van minder dan 3,00 MOS.
Tijdens de vergelijking van de audiovertraging bij 25% pakketverlies liet Zoom een vertraging van ongeveer 100 ms zien. Daarmee presteerde Zoom beter dan Agora, dat een grotere vertraging van 200-250 ms liet zien om pakketverlies tegen te gaan.
Tijdens de vergelijking van de netwerkbitrate bleek uit de test dat zowel Twilio als Chime instabiel waren en standaard zeer lage bitrates hadden. De bitrate van Agora was daarentegen zeer hoog, waaruit blijkt dat het product mogelijk geen rekening houdt met netwerkcongestie bij het toewijzen van de oorzaak van pakketverlies.
Wat het CPU-gebruik betreft, belastte Zoom de CPU het minst vergeleken met de vier andere aanbieders in de testscenario's.
Zoom had ook het laagste RAM-gebruik. Zoals u in de onderstaande tabel ziet, gebruikten Twilio en Chime beide ongeveer 500 MB RAM bij 25% pakketverlies en gebruikte Agora meer dan 3 GB tijdens videogesprekken.
Voordelen van een lager CPU- en RAM-gebruik zijn onder meer:
Een lager CPU- en RAM-gebruik is de perfecte usecase van ingebedde realtime audio/video in andere toepassingen die veel resources gebruiken, zoals videogames en grafische samenwerkingstoepassingen zoals CAD- en 3D-ontwerp.
TestDevLab onderzocht het CPU-gebruik ten opzichte van het aantal gebruikers, het CPU-gebruik in de loop der tijd en het geheugengebruik in de loop der tijd. De resultaten van de tests wezen uit dat het CPU-gebruik van de Zoom Video SDK bescheiden was. Zoals hierboven vermeld, kan een lager CPU-gebruik zich vertalen in een goede gebruikerservaring, betere app-prestaties met meer beschikbare resources en minder klachten over het leeglopen van de batterij vanwege de app.
In dezelfde tests was Agora niet in staat om een galerijweergave met 32 rasters te presenteren. Daarnaast gebruikte Vonage TokBox consequent meer CPU dan de andere aanbieders.
De Zoom Video SDK is een goede keuze voor alle netwerkomstandigheden, ook wanneer de bandbreedte, CPU en RAM beperkt zijn.
TestDevLab voerde de tests voor elk scenario meermaals uit en de testresultaten waren elke keer vergelijkbaar. De Zoom Video SDK blonk uit vanwege:
Ontdek hoe je jouw ontwikkeling kunt versnellen en volledig aanpasbare videogebaseerde toepassingen kunt bouwen op de pagina Zoom Video SDK.
De Video SDK's, waaronder de Zoom Video SDK en die van Agora, Vonage TokBox, Chime en Twilio werden getest in een aantal vooraf vastgestelde scenario's.
TestDevLab testte alle vijf aanbieders in drie soorten tests met verschillende aantallen deelnemers en vier verschillende netwerkbeperkingen: onbeperkt, beperkte bandbreedte toegepast op de afzender, beperkte bandbreedte voor de ontvanger en 25% pakketverlies. TestDevLab voerde acht tests uit, opgesplitst in vier testruns die op verschillende tijdstippen werden uitgevoerd. Daaruit koos TestDevLab de vijf tests met het meest stabiele gedrag om de analyse en resultaten te produceren.
Om het CPU- en RAM-gebruik in verschillende belastingsomstandigheden te testen, ontwikkelde TestDevLab een stresstest die begint met in totaal 48 gespreksdeelnemers. Tijdens het streamen van de video veranderde TestDevLab het aantal gebruikers op het raster elke 60 seconden om de scenario's met 32, 16, 8*, 4 en 2 gebruikers te testen.
Voor de prestatietests werd het TestDevLab-platform als volgt geconfigureerd:
Voor de prestatieanalyse testte TestDevLab verschillende scenario's: videogesprek, dynamisch scherm delen en statisch scherm delen. Elk scenario werd vijf keer getest met verschillende aantallen deelnemers. Het volgende proces werd toegepast:
* Het testontwerp van TestDevLab omvatte ook een galerijtest met 8 deelnemers. Bij de uitvoering van deze test werd echter een onjuiste resolutie gebruikt, zodat deze resultaten niet zijn opgenomen in de analyse en het rapport.
