Raport o wynikach Zoom Wideo SDK

TestDevLab — dostawca usług zapewniania jakości oprogramowania i tworzenia narzędzi do testowania na zamówienie — przeprowadził analizę Zoom Video SDK oraz czterech innych dostawców Video SDK: Agora, Vonage TokBox, Chime i Twilio. Celem było poznanie zachowania każdej platformy i wynikającej z tego jakości każdego Video SDK. Analiza ta została wykonana na zlecenie firmy Zoom Communications, Inc. Wyniki przedstawione w tym raporcie odzwierciedlają wyniki testów TestDevLab z 12 maja 2022 roku.

W niniejszym raporcie po raz pierwszy opisano kwestie związane z oceną jakości zestawów Video SDK. Następnie przedstawiono analizę wyników, w szczególności pod kątem jakości wydajności, utrzymania przepustowości i utrzymania niskiego zużycia jednostki centralnej (CPU) i pamięci o dostępie swobodnym (RAM) podczas utraty 25% pakietów. Szczegóły dotyczące środowiska testowego znajdują się w załączniku.

Zoom, zaprojektowany d bycia łatwym w użyciu, lekkim i wysoce konfigurowalnym, włożył wiele wysiłku w ogólną jakość swojego Video SDK. Nawet w przypadku słabych scenariuszy sieciowych, przypadków zastosowań mobilnych oraz symulowanych lokalizacji wiejskich lub odległych, wyniki testów Zoom Video SDK były solidne.

Firma TestDevLab przeprowadziła również testy, aby sprawdzić, jak zestawy Video SDK radzą sobie z ograniczonymi zasobami, takimi jak przepustowość, procesor i pamięć RAM. Zoom Video SDK nadal osiągał dobre wyniki.

TestDevLab pomaga startupom i firmom z listy Fortune 500 na całym świecie przyspieszyć cykl wydawniczy, ulepszyć jakość produktów i wrażenia użytkowników. TestDevLab w ramach swoich usług i rozwiązań oferuje innowacyjne testy jakości głosu/wideo i benchmarking, testy funkcjonalne, regresyjne, bezpieczeństwa i integracyjne, jak również usługi automatyzacji testów dla SDK, zgodnie z najlepszymi praktykami i przy użyciu standardowych narzędzi testowych oraz niestandardowych rozwiązań testowych.

Oceniając jakość Video SDK, należy wziąć pod uwagę wiele różnych aspektów, w tym:

Urządzenia użytkownika: TestDevLab miał na celu przetestowanie tych samych urządzeń na wszystkich zestawach SDK, aby zapewnić możliwość ich porównania.

Ograniczenia sieci: Aby przeprowadzić analizę porównawczą, warunki sieciowe muszą być kontrolowane. TestDevLab skupił się na czterech ograniczeniach sieciowych, w tym nieograniczonej, ograniczonej przepustowości zastosowanej do nadawcy, ograniczonej przepustowości do odbiorcy i losowej utracie 25% pakietów. Każde urządzenie jest podłączone do innego routera, aby zapewnić wysoką jakość połączenia.

Przewidywalność & Powtarzalność: TestDevLab przeprowadził osiem testów podzielonych na serie po cztery testy. Każdy test został przeprowadzony w innym czasie, aby zmniejszyć wpływ potencjalnych globalnych przeciążeń sieci / nieoczekiwanych spowolnień usług itp. Spośród tych testów TestDevLab wybrał pięć testów o najbardziej stabilnym zachowaniu.

Analiza: Aby przeanalizować wyniki, TestDevLab przeprowadził walidację w trakcie procesu. Analizują oni wyniki wszystkich testów na przestrzeni czasu, a także wyrywkowo sprawdzają filmy, aby potwierdzić wiarygodność danych w porównaniu z subiektywnym spojrzeniem.

TestDevLab przeprowadził testy dla każdego scenariusza wielokrotnie. W każdym teście i dla wszystkich dostawców, TestDevLab odnotował stabilne wyniki w tym samym scenariuszu, gdy był wykonywany wielokrotnie. Analizując wyniki, TestDevLab przyjrzał się:

Jakość działania. TestDevLab przeanalizował jakość opóźnienia audio i opóźnienia wideo w różnych warunkach sieciowych. Przyjrzeli się oni również porównaniu liczby klatek na sekundę (FPS) i Video Multimethod Assessment Fusion (VMAF).

Zarządzanie zasobami w nieidealnych warunkach sieciowych. TestDevLab sprawdził, w jaki sposób dostawcy zarządzają zasobami w sytuacji utraty pakietów.

Użycie CPU/RAM. TestDevLab sprawdził, w jaki sposób dostawcy zużywają zasoby, gdy aplikacja jest pod obciążeniem, np. wideo wielu uczestników są wyświetlane w widoku galerii.

Jakość działania jest ważna w różnych warunkach sieciowych. Firma TestDevLab przetestowała opóźnienie głosu, opóźnienie wideo i liczbę klatek na sekundę przy nieograniczonej sieci.

Test opóźnienia głosu u różnych dostawców wykazał, że opóźnienie było porównywalne, z wyjątkiem Chime, który działał z nieco większym opóźnieniem.

Jeśli chodzi o porównanie opóźnienia wideo, Zoom, Agora, Twilio i Chime mają opóźnienie wideo w większości poniżej 250 ms. Vonage TokBox natomiast miał opóźnienia wideo od 250 ms do 1000 ms.

W porównaniu liczby klatek na sekundę test wykazał, że Zoom ma najwyższą liczbę klatek na sekundę przy połączeniach wideo.

Wyniki pokazały również, że Zoom miał najbardziej spójną jakość wideo we wszystkich testowanych warunkach sieciowych. Test rozpoczął się bez ograniczeń pasma, następnie zastosowano niskie ograniczenie pasma jednakowo dla wszystkich dostawców, najpierw po stronie nadawczej, a następnie po stronie odbiorczej.

Następnie TestDevLab przyjrzał się wytrwałości źródeł podczas scenariusza utraty 25% pakietów. Utrata pakietów może spowalniać prędkość sieci, powodować wąskie gardła, zakłócać przepustowość sieci i może być kosztowna. Utrata pakietów może nastąpić z różnych powodów, a wiele z nich jest niezamierzonych. Przeciążenia sieci, zawodne sieci, zwłaszcza mobilne, błędy w oprogramowaniu, przeciążone urządzenia to kilka przykładów.

W testach, które obejmowały utratę 25% pakietów Zoom dobrze radził sobie z zachowaniem przepustowości oraz utrzymaniem niskiego zużycia procesora i pamięci w warunkach utraty pakietów i ograniczonej sieci. Zoom zapewnia inteligentne zarządzanie i jest konserwatywny przy zachowaniu jakości połączeń.

Z drugiej strony testy wykazały, że Agora wydaje się mieć inne podejście do utraty pakietów - poświęcając dużo przepustowości, aby spróbować poradzić sobie z utratą pakietów. Jeśli ograniczona przepływność jest przyczyną utraty pakietów, próba wykorzystania większej przepustowości może spowodować problemy.

Jeśli chodzi o porównanie jakości dźwięku podczas 25% utraty pakietów, Zoom i Agora poradziły sobie dobrze z jakością głosu, osiągając poziomy powyżej 4,00 MOS. Jednak jakość głosu Twilio uniemożliwiała korzystanie, a jakość Chime była bliska nieużyteczności, z poziomem poniżej 3,00 MOS.

Patrząc na opóźnienie dźwięku podczas 25% utraty pakietów, Zoom zwiększył się o około 100 ms w porównaniu do Agory, która miała bardziej znaczący wzrost o 200 - 250 ms, aby poradzić sobie z utratą pakietów.

Podczas porównania Network Bitrate test wykazał, że zarówno Twilio jak i Chime były niestabilne i domyślnie ustawiały się na bardzo niski bitrate. Z drugiej strony, bitrate Agory był bardzo wysoki, co pokazuje, że produkt może nie uwzględniać przeciążonej sieci przy przypisywaniu przyczyny utraty pakietów.

Jeśli chodzi o wykorzystanie procesora, Zoom używał go najmniej w porównaniu z czterema innymi dostawcami w scenariuszach testowych.

Zoom miał też najniższe zużycie pamięci RAM. Jak widać na poniższym wykresie, zarówno Twilio jak i Chime używały około 500 MB pamięci RAM podczas 25% utraty pakietów, a Agora używała ponad 3 GB przy połączeniach wideo.

Korzyści wynikające z mniejszego zużycia procesora i pamięci RAM obejmują:

Niższe zużycie procesora i pamięci RAM to doskonały przypadek zastosowania technologii A/V w czasie rzeczywistym w innych aplikacjach o dużym zużyciu zasobów, takich jak gry wideo i aplikacje do współpracy graficznej, takie jak CAD i projektowanie 3D.

Firma TestDevLab zbadała zużycie procesora na liczbę użytkowników, zużycie procesora w czasie oraz zużycie pamięci w czasie. W trakcie testów wyniki pokazały, że Zoom Video SDK zużywał niewiele procesora. Jak wspomniano powyżej, niższe zużycie procesora może przełożyć się na dobre wrażenia użytkownika, lepszą wydajność aplikacji z większą ilością dostępnych zasobów i mniej skarg na wyczerpywanie baterii przez aplikację.

Podczas tych samych testów Agora nie była w stanie hostować widoku galerii z podziałem na 32 okna. Ponadto Vonage TokBox konsekwentnie wykorzystywał więcej CPU niż pozostali dostawcy.

Zoom Video SDK jest dobrym rozwiązaniem dla wszystkich scenariuszy sieciowych, w tym tych z ograniczonymi zasobami, takimi jak przepustowość, CPU i RAM.

Testy TestDevLab zostały przeprowadzone dla każdego scenariusza wielokrotnie i za każdym razem wyniki były zgodne. Zoom Video SDK wyróżniał się następującymi cechami:

Dowiedz się, jak przyspieszyć rozwój i tworzyć w pełni konfigurowalne aplikacje oparte na wideo, odwiedzając stronę Zoom Video SDK.

Video SDK, w tym Zoom Video SDK, oraz te od Agory, Vonage TokBox, Chime i Twilio, zostały przetestowane w zestawie predefiniowanych scenariuszy.

Firma TestDevLab przetestowała wszystkich pięciu dostawców w trzech typach testów, z dwoma różnymi liczbami uczestników i czterema różnymi ograniczeniami sieci, w tym nieograniczoną, zastosowanym ograniczeniem na nadawcę, zastosowanym ograniczeniem na odbiorcę i 25% utratą pakietów. Firma TestDevLab przeprowadziła osiem testów podzielonych na cztery rundy testowe wykonane w różnym czasie. Firma TestDevLab wybrała pięć testów z najbardziej stabilnym zachowaniem, aby dostarczyć analizę i wyniki.

Aby sprawdzić wykorzystanie procesora i pamięci RAM pod różnymi poziomami obciążenia, firma TestDevLab utworzyła test warunków skrajnych, który rozpoczyna się od połączenia z w sumie 48 użytkownikami. Wideo było przesyłane strumieniowo, a firma TestDevLab zmieniała liczbę użytkowników na siatce co 60 sekund, aby przetestować scenariusze 32, 16, 8*, 4 i 2 użytkowników.

Do testów wydajnościowych platforma TestDevLab została skonfigurowana w następujący sposób:

Firma TestDevLab przeprowadziła scenariusze testowe połączeń wideo, dynamicznego udostępniania ekranu oraz statycznego udostępniania ekranu w celu analizy wydajności. Każdy scenariusz był testowany pięciokrotnie z różną liczbą uczestników. Zastosowano następujący proces:

* Projekt testowy TestDevLab obejmował również test galerii 8-osobowej, jednak w realizacji tego testu zastosowano nieprawidłową rozdzielczość i wyniki te nie zostały uwzględnione w analizie i raporcie.