Audio- und Videoqualität sind entscheidend für ein gelungenes virtuelles Meeting. Wenn eines von beiden mangelhaft ist oder gar nicht funktioniert, leidet die Nutzererfahrung und führt zu Frustration. Wir bei Zoom möchten daher stets wissen, wie Zoom Meetings im Vergleich zu anderen Meeting-Lösungen abschneidet. Aus diesem Grund haben wir TestDevLab beauftragt, die Video- und Audioqualität unter verschiedenen Bedingungen und Anruftypen für die folgenden Anbieter zu vergleichen:
Die Ergebnisse in diesem Bericht spiegeln die TestDevLab-Testergebnisse im April 2024 wider.
TestDevLab (TDL) bietet Softwaretest- und Qualitätssicherungsdienste für mobile, Web- und Desktop-Anwendungen sowie die Entwicklung kundenspezifischer Testwerkzeuge an. Das Unternehmen ist auf Softwaretests und Qualitätssicherung spezialisiert und entwickelt fortschrittliche maßgeschneiderte Lösungen für Sicherheits-, Batterie- und Datennutzungstests von mobilen Apps. Es bietet auch die Bewertung der Video- und Audioqualität für VoIP- oder Kommunikations-Apps und Produkte für die automatische Backend-API sowie Weblast- und Leistungstests an.
Das TestDevLab-Team besteht aus über 500 erfahrenen Technikfachkräften, die sich auf Softwaretests und -entwicklung konzentrieren. Die Mehrheit dieser Testfachkräfte besitzt Zertifizierungen des International Software Testing Qualifications Board (ISTQB) und verfügt damit über ein hohes Maß an Fachkompetenz im Bereich Softwaretests gemäß den Branchenstandards und der Servicequalität.
Um einen fairen Test für alle Anbieter zu gewährleisten, wurden alle Tests mit Geräten und Konten von TestDevLab durchgeführt. Zusätzlich wurden die einzelnen Anbieterkonten in einer Standardkonfiguration gehalten, mit Ausnahme der Ermöglichung einer maximalen Auflösung von HD (1080p) für Anbieter, die standardmäßig die Videoauflösung begrenzen.
Die Testszenarien umfassten ein „Empfänger“-Gerät, ein „Sender“-Gerät und zusätzliche Geräte, die als weitere Teilnehmer fungierten. Alle Geräte waren mit demselben Videoanruf verbunden. Je nach Testszenario wurden das Anruflayout und das Netzwerk so konfiguriert, dass die erforderlichen Testparameter reproduziert werden konnten.
Um einen Gesamtüberblick über die Video- und Audioqualität in Zoom Meetings zu erhalten, haben wir TDL gebeten, die gängigsten Meetingszenarien zu testen und dabei gängige Hardware zu verwenden.
Szenarien mit variablen Netzwerken
Für diese Szenarien wollten wir mithilfe einiger gängiger Datenverarbeitungsplattformen testen, wie die unterschiedlichen Plattformen unter variablen Netzwerkbedingungen reagieren. Um dieses Ziel zu erreichen, nutzte TDL vier gängige Hardwareplattformen: MacBook-Pro-Computer, Windows-Computer, iPhones und Android-Geräte. Wir haben den gängigsten Meeting-Typ mit drei Teilnehmern, ohne freigegebene Inhalte und einer Einstellung für die Sprecheransicht konfiguriert, um die Videoauflösung zu maximieren.
Die getesteten Netzwerkszenarien umfassten:
Jeder Anruf dauerte drei Minuten und wurde fünfmal wiederholt. Über alle Anbieter, Hardware-Variationen und Netzwerkbedingungen hinweg führte TDL 420 Meetings durch.
Wenn Beschränkungen für einen Anruf festgelegt wurden, waren diese auf das getestete Gerät beschränkt, das als „Empfänger“ fungierte.
Szenarien mit variablem Anruftyp
Für diese Szenarien wollten wir die verschiedenen Anruftypen und Technologien testen, die von den meisten Benutzern verwendet werden. Die verwendete Hardware beschränkte sich auf MacBook Pro M1- und Windows-Computer. Die Szenarien beinhalteten Meetings mit fünf und acht Personen, die im Galeriemodus arrangiert wurden. TDL testete Meetings, die nur Teilnehmer hatten, Meetings, bei denen Inhalte geteilt wurden, und Meetings, bei denen die Teilnehmer virtuelle Hintergründe aktivierten.
In allen Fällen blieb das Netzwerk fehlerfrei und uneingeschränkt. Wie zuvor dauerte jedes Meeting drei Minuten und wurde fünfmal wiederholt. Insgesamt hat TDL in dieser Kategorie 240 zusätzliche Meetings durchgeführt.
Um ein vollständiges Bild der Meetingqualität zu erhalten, haben wir TDL gebeten, Kennzahlen in vier Hauptkategorien zu erfassen: Audioqualität, Videoqualität, Netzwerknutzung und Ressourcennutzung. Die Kennzahlen wurden während des gesamten Meetings sekündlich erfasst und in einer zentralen Datenbank gespeichert.
Audioqualität
Videoqualität
Ressourcennutzung
Netzwerknutzung
Nicht alle Kennzahlen können auf allen Plattformen erfasst werden. Zum Beispiel können nicht alle Kennzahlen zur Ressourcennutzung auf Mobilgeräten erfasst werden. TDL maximierte die Erfassung von Kennzahlen in jedem Anrufszenario.
Um die Darstellung der riesigen Datenmenge, die von TDL gesammelt wurde, zu vereinfachen, haben wir jede der oben genannten Kennzahlen auf einer Skala von 1 bis 4 bewertet, wobei 1 die beste und 4 die schlechteste Punktzahl ist. Anschließend haben wir die Punktzahlen aus den Kennzahlen in die vier Kategorien eingeteilt. Die niedrigsten Gesamtsummen stellen die besten Qualitätswerte in jeder Kategorie dar.
In diesem Abschnitt werden die Ergebnisse auf einer allgemeinen Ebene untersucht, wobei verschiedene Filter angewendet werden, um den Fokus auf unterschiedliche Anrufkategorien zu legen. Später werden wir uns auf einzelne Anrufszenarien konzentrieren und detailliertere Informationen zum Verhalten der verschiedenen Plattformen in diesen Szenarien liefern. Weitere Informationen finden Sie unter „Detaillierte Ergebnisse“.
Die obigen Ergebnisse umfassen die Bewertungen aller 660 Meetings, einschließlich aller Geräte und Netzwerkszenarien:
Die obige Gesamtpunktzahl stellt die Gesamtheit der TDL-Tests dar, aber in Wirklichkeit werden die meisten regulären Benutzer viele der von TDL simulierten Netzwerkeinschränkungen nicht erleben. Die Ergebnisse unten filtern alle Tests heraus, die Netzwerkeinschränkungen hatten, sodass nur die Tests für fehlerfreie Netzwerke beibehalten werden.
Bei der Betrachtung von Meetings in einem fehlerfreien Netzwerk schneidet Zoom (25) noch besser ab, Google Meet (37) belegt den zweiten Platz, während Microsoft Teams (39) und Cisco Webex (39) die letzten Plätze belegen.
Szenarien mit ausschließlich Desktop-Geräten
Obwohl viele Menschen Mobilgeräte verwenden, um sich mit Meetings zu verbinden, verbinden sich durchschnittlich ~ 66 % aller Zoom-Teilnehmer über Desktop-Geräte (laut internen Zoom-Statistiken). Wenn die Daten nur auf Desktop und Meetings ohne Netzwerkprobleme gefiltert werden, steigt der Vorsprung von Zoom noch weiter an und führt auch bei allen vier Kennzahlen.
Zoom übertrifft die getesteten alternativen Meeting-Dienste in jeder Kategorie, die TDL unter idealen Bedingungen und mit den am häufigsten verwendeten Geräten gemessen hat. Da die Bedingungen nicht immer ideal sind, ist es wichtig, Umstände zu messen, unter denen Benutzer möglicherweise Netzwerkprobleme erleben.
Anbieter können sich automatisch an veränderte Netzwerkbedingungen anpassen, um eine hohe Video- und Audioqualität aufrechtzuerhalten. Die Protokolle der einzelnen Anbieter passen sich unterschiedlich an, wodurch sich unter Umständen die Videoauflösung, die Komprimierungsqualität, die Bildrate (FPS) und andere Faktoren ändern. Das Gesamterlebnis des Benutzers während eines Videoanrufs hängt davon ab, wie gut der Anbieter diese Parameter bei schwankenden Netzbedingungen optimieren kann.
TestDevLab erfasste mehrere Kennzahlen, um die allgemeine Benutzererfahrung während eines Anrufs zu messen. Die beiden wichtigsten gesammelten Kennzahlen sind VMAF, das die wahrgenommene Bildqualität misst, und Bilder pro Sekunde (FPS), das die Flüssigkeit des Videos anzeigt.
Nach der Analyse der kombinierten Testergebnisse von 660 Tests stellte TDL fest, dass Google Meet mit 20 Bildern pro Sekunde (FPS) die höchste durchschnittliche Bildrate liefert. Im Vergleich dazu erreichen Microsoft Teams und Zoom im Durchschnitt jeweils 17 FPS, während Webex im Durchschnitt 16 FPS erreicht.
Die höhere Bildrate von Google Meet geht jedoch mit einer geringeren Videoqualität einher. Laut der VMAF-Tabelle (Video Multimethod Assessment Fusion) führt Zoom mit einem Durchschnittswert von 73,2 Punkten. Microsoft Teams folgt mit 63,5 Punkten, Google Meet erreicht 59,5 Punkte und Webex durchschnittlich 58,9 Punkte.
Videoqualität mit Paketverlust
Der von TestDevLab durchgeführte Paketverlusttest umfasste drei Phasen.
Die unten abgebildeten Diagramme zeigen Folgendes:
Test der Netzwerkwiederherstellung
Beim Test der Netzwerkwiederherstellung startete TDL den Test mit einem fehlerfreien Netzwerk.
Dieser Test wurde entwickelt, um das Verhalten der getesteten Plattformen bei einem vorübergehenden Netzwerkproblem zu prüfen und die Fähigkeit jeder Plattform zur Wiederherstellung nach Behebung des Problems zu testen.
Die Testergebnisse zeigen, dass Zoom zwar eine hohe Videoqualität beibehält, es jedoch etwa 10 Sekunden dauert, bis die Codec-Parameter an die neuen Netzwerkbedingungen angepasst sind, was für einige Sekunden zu einer sehr niedrigen Bildrate führt. In Bezug auf die Wiederherstellungszeit liegt Zoom im Mittelfeld, zwischen Webex mit sehr niedriger Wiederherstellungszeit und Teams und Google mit schneller Wiederherstellung.
Test mit einem überlasteten Netzwerk
Ziel des Tests bei überlastetem Netzwerk war es, das Verhalten der getesteten Plattformen unter verschiedenen Dauern von Netzwerküberlastung und ihre Fähigkeit zur Aufrechterhaltung der Leistungsfähigkeit in Netzwerken mit zeitweiligen Verkehrsspitzen zu bewerten.
Die Testergebnisse zeigen, dass Zoom während des gesamten Tests die Bildqualität beibehält und dabei Bildrate und Videoverzögerung opfert, um den sich ändernden Netzwerkbedingungen gerecht zu werden. Bemerkenswert ist, dass Webex am Ende des Tests die Videoübertragung komplett abgebrochen hat.
Qualitätstest mit virtuellen Hintergründen
In unseren Testszenarien haben wir TDL beauftragt, die Benutzererfahrung der Funktion für virtuelle Hintergründe zu bewerten. Diese Funktion ersetzt den realen Hintergrund des Benutzers durch ein Bild oder Video, was eine erhebliche Verarbeitung erfordert, um ein qualitativ hochwertiges Gesamtbild zu erzeugen.
Laut den Ergebnissen von TDL lieferte Zoom die beste Bildqualität. Manche Meeting-Anbieter legen Wert auf Videoqualität, andere auf Bildrate, wenn nach VMAF bewertet wird:
Diese Ergebnisse stimmen mit den internen Qualitätstests für virtuelle Hintergründe von Zoom überein, die im letzten Jahr durchgeführt wurden und in diesem Video gezeigt werden.
Außerdem haben die Tests von TDL ergeben, dass Zoom bei Verwendung der virtuellen Hintergrundfunktion die wenigsten CPU- und Speicherressourcen verbraucht.
Die umfangreichen Tests von TDL verdeutlichen signifikante Leistungsunterschiede zwischen Zoom, Microsoft Teams, Google Meet und Cisco Webex unter verschiedenen Netzwerkbedingungen und Meeting-Szenarien.
