La qualità audio e video è un aspetto fondamentale delle riunioni virtuali. Quando una delle due è scadente o, peggio, totalmente insufficiente, l’esperienza utente ne risente e può generare frustrazione. Per noi di Zoom è importante valutare sempre le prestazioni di Zoom Meetings rispetto ad altre soluzioni di videoconferenza. Per questo motivo, abbiamo incaricato TestDevLab di analizzare la qualità audio e video in diverse condizioni e diversi tipi di chiamata confrontando i seguenti fornitori:
I risultati forniti in questo report riflettono i risultati dei test eseguiti da TestDevLab ad aprile 2024.
TestDevLab (TDL) offre servizi di software testing e quality assurance per applicazioni per dispositivi mobili, web e desktop, oltre allo sviluppo di strumenti di testing personalizzati. L’azienda è specializzata in software testing e quality assurance e sviluppa soluzioni personalizzate avanzate per test sulla sicurezza, sul consumo della batteria e sull’utilizzo dei dati nelle app per dispositivi mobili. Esegue inoltre valutazioni della qualità audio e video per applicazioni VoIP o di comunicazione, oltre a test automatizzati di API backend e test di carico e prestazioni web.
Il team di TestDevLab è composto da oltre 500 ingegneri altamente qualificati specializzati in software testing e sviluppo. La maggior parte dei loro test engineer possiede certificazioni dell’International Software Testing Qualifications Board (ISTQB), che garantiscono un elevato livello di competenza nei test software, in linea con gli standard di settore e con la qualità del servizio.
Per garantire un test equo tra tutti i fornitori, tutti i test sono stati eseguiti utilizzando le apparecchiature e gli account di TestDevLab. Inoltre, gli account dei singoli fornitori sono stati mantenuti alla configurazione predefinita, ad eccezione dell’abilitazione della risoluzione massima HD (1080p) per i fornitori che limitano la risoluzione video per impostazione predefinita.
Gli scenari di test prevedevano un dispositivo "Ricevente", un dispositivo "Mittente" e altri che fungevano da partecipanti aggiuntivi. Tutti i dispositivi erano collegati alla stessa videochiamata. A seconda dello scenario di test, il layout della chiamata e le impostazioni di rete sono stati configurati per riprodurre i parametri richiesti.
Per avere una visione complessiva della qualità audio e video in Zoom Meetings, abbiamo chiesto a TestDevLab di testare gli scenari di riunione più comuni, utilizzando hardware di uso comune.
Scenari di rete variabili
Per questi scenari, abbiamo voluto testare la reazione delle diverse piattaforme in varie condizioni di rete utilizzando alcune piattaforme di elaborazione comuni. Per raggiungere questo obiettivo, TDL ha utilizzato quattro piattaforme hardware popolari: computer MacBook Pro, computer Windows, iPhone e dispositivi Android. Abbiamo configurato il tipo di riunione più comune con tre partecipanti, senza contenuti condivisi e con impostazione vista presentatore/oratore per garantire la massima risoluzione video.
Gli scenari di rete testati includevano:
Ogni chiamata è durata tre minuti ed è stata ripetuta cinque volte. TDL ha effettuato un totale di 420 riunioni considerando tutti i fornitori, le varianti hardware e le condizioni di rete.
Quando sono state applicate limitazioni alla chiamata, queste hanno interessato solo il dispositivo testato in qualità di "ricevente".
Scenari con tipologie di chiamata variabili
Per questi scenari, abbiamo voluto testare le diverse tipologie di chiamata e le tecnologie utilizzate dalla maggior parte degli utenti. L’hardware impiegato era limitato a computer MacBook Pro M1 e computer Windows. Gli scenari includevano riunioni con cinque e otto partecipanti, organizzate in modalità galleria. TDL ha testato riunioni solo con partecipanti, riunioni con solo partecipanti, riunioni con condivisione di contenuti e riunioni in cui i partecipanti hanno attivato sfondi virtuali.
In tutti i casi, la rete è rimasta pulita e senza limitazioni. Come in precedenza, ogni riunione è durata tre minuti ed è stata ripetuta cinque volte. Complessivamente, TDL ha condotto altre 240 riunioni in questa categoria.
Per generare un quadro completo della qualità delle riunioni, abbiamo chiesto a TDL di acquisire metriche in quattro categorie principali relative alla qualità audio e video, all’utilizzo della rete e all’utilizzo delle risorse. Le metriche sono state registrate in ogni secondo di riunione e salvate in un database centralizzato.
Qualità audio
Qualità video
Utilizzo delle risorse
Utilizzo della rete
Non tutte le metriche possono essere acquisite su tutte le piattaforme. Ad esempio, non tutte le metriche di utilizzo delle risorse possono essere misurate sui dispositivi mobili. TDL ha comunque massimizzato l’acquisizione delle metriche in ciascun scenario di chiamata.
Per semplificare la presentazione della grande quantità di informazioni raccolte da TDL, abbiamo valutato ciascuna delle metriche in base a una scala da 1 a 4, dove 1 è il punteggio migliore e 4 è il peggiore. Abbiamo poi sommato i punteggi delle metriche nelle quattro categorie. I totali più bassi indicano le migliori prestazioni in ciascuna categoria.
Questa sezione analizza i risultati a un livello generale, applicando diversi filtri per focalizzarsi su categorie di chiamata differenti. Successivamente, ci concentreremo sui singoli scenari di chiamata, fornendo informazioni più dettagliate sul comportamento delle diverse piattaforme in ciascuno di essi. Per informazioni più approfondite, consulta la sezione "Risultati dettagliati".
I risultati sopra riportati includono i punteggi di tutte le 660 riunioni, inclusi tutti i dispositivi e gli scenari di rete:
Il punteggio complessivo riportato sopra rappresenta l’insieme di tutti i test di TestDevLab, ma nella realtà la maggior parte degli utenti non riscontra molte delle limitazioni di rete simulate da TDL. I risultati riportati di seguito escludono tutti i test con limitazioni di rete, mantenendo solo quelli eseguiti su rete pulita.
Per quanto riguarda le riunioni con rete pulita, Zoom (25) ottiene un punteggio ancora migliore, Google Meet (37) si classifica al secondo posto e Microsoft Teams (39) e Cisco Webex (39) si classificano ultimi.
Scenari con dispositivi desktop
Sebbene molte persone utilizzino dispositivi mobili per partecipare alle riunioni, in media circa il 66% di tutti i partecipanti Zoom si collega tramite dispositivi desktop (secondo le statistiche interne di Zoom). Filtrando i dati per solo desktop e riunioni senza problemi di rete, il vantaggio di Zoom aumenta ulteriormente e si posiziona al primo posto in tutte le quattro metriche.
Zoom supera i servizi di videoconferenza alternativi testati da TDL in tutte le categorie misurate in condizioni ideali e con i dispositivi più comunemente utilizzati. Poiché le condizioni non sono sempre ideali, è importante valutare anche gli scenari in cui gli utenti potrebbero riscontrare problemi di rete.
I fornitori possono adattarsi automaticamente alle variazioni delle condizioni di rete per mantenere una qualità audio e video elevata. I protocolli di ciascun fornitore si adattano in modo diverso, modificando potenzialmente risoluzione video, qualità della compressione, FPS e altri parametri. L’esperienza complessiva dell’utente durante una videochiamata dipende da quanto efficacemente il fornitore riesce a mantenere ottimizzati questi parametri al variare delle condizioni di rete.
TestDevLab ha acquisito diverse metriche per misurare l’esperienza complessiva dell’utente durante una chiamata. Le due metriche più significative raccolte sono VMAF, che misura la qualità percepita dell’immagine e i fotogrammi al secondo (FPS), che indicano la fluidità del video.
Dopo aver analizzato i risultati combinati di 660 test, TDL ha rilevato che Google Meet offre la frequenza media di fotogrammi più alta, pari a 20 fotogrammi al secondo (fps). In confronto, Microsoft Teams e Zoom hanno entrambi una media di 17 fps, mentre Webex raggiunge una media di 16 fps.
Tuttavia, la frequenza di fotogrammi più elevata di Google Meet comporta un compromesso sulla qualità video. Secondo il grafico Video Multimethod Assessment Fusion (VMAF), Zoom è in testa per qualità con un punteggio medio di 73,2. Seguono Microsoft Teams con 63,5, Google Meet con 59,5 e Webex con un punteggio medio di 58,9.
Qualità video con perdita di pacchetti
Il test con perdita di pacchetti condotto da TestDevLab si è svolto in tre fasi.
Come mostrato nei grafici seguenti:
Test di ripristino della rete
Nel test di ripristino della rete, TDL ha iniziato il test con una rete pulita.
Questo test è stato progettato per valutare il comportamento delle piattaforme testate in presenza di un problema temporaneo di rete e la capacità di ciascuna piattaforma di recuperare una volta risolto il problema.
I risultati del test mostrano che, pur mantenendo una qualità video elevata, a Zoom servono circa 10 secondi per riadattare i parametri del codec alle nuove condizioni di rete, con una conseguente frequenza di fotogrammi molto bassa per alcuni secondi. Per quanto riguarda i tempi di recupero, Zoom si colloca a metà classifica, tra Webex, che impiega più tempo, e Teams e Google Meet che recuperano più velocemente.
Test con rete congestionata
L’obiettivo del Test con rete congestionata era valutare il comportamento delle piattaforme testate durante periodi di congestione di rete di durata variabile e la loro capacità di mantenere le prestazioni su reti soggette a picchi di traffico intermittenti.
I risultati del test mostrano che Zoom mantiene la qualità dell’immagine per tutta la durata del test, sacrificando però la frequenza di fotogrammi e il ritardo video per adattarsi alle mutevoli condizioni della rete. In particolare, Webex ha completamente interrotto la riproduzione del video entro la fine del test.
Test sulla qualità degli sfondi virtuali
Nei nostri scenari di test, abbiamo chiesto a TDL di valutare l’esperienza utente della funzionalità di sfondo virtuale. Questa funzionalità, che sostituisce lo sfondo reale dell’utente con un’immagine o un video, richiede un’elaborazione significativa per generare un’immagine composita di alta qualità.
Secondo i risultati di TDL, Zoom ha offerto la migliore qualità dell’immagine. Alcuni client di videoconferenza danno priorità alla qualità video e altri alla frequenza di fotogrammi. Nel punteggio basato su VMAF:
Questi risultati sono coerenti con i test interni di Zoom sulla qualità degli sfondi virtuali condotti lo scorso anno, mostrati in questo video.
Inoltre, i test di TDL hanno rivelato che Zoom consuma meno risorse di CPU e memoria quando utilizza la funzionalità di sfondo virtuale.
I test approfonditi di TestDevLab evidenziano differenze significative nelle prestazioni tra Zoom, Microsoft Teams, Google Meet e Cisco Webex in diverse condizioni di rete e scenari di riunione.
