Технический директор компании Zoom Сюэдун Хуан (Xuedong Huang) обсуждает наш интегрированный подход к ИИ и его высокопроизводительные возможности составления сводок конференций, резюме и списков дальнейших действий.
8 мин. на чтение
Опубликовано: 26 марта 2024 г.
Сюэдун Хуан (Xuedong Huang) является техническим директором (CTO). До Zoom он работал в компании Microsoft CTO и техническим специалистом по ИИ Azure. Он построил выдающуюся карьеру в области ИИ: в 1993 году создал группу речевых технологий Microsoft, руководил отделами по работе с ИИ Microsoft и добился первых в отрасли успехов в области разработки технологий распознавания речи, машинного перевода, понимания языка и компьютерного зрения, равных возможностям человека. Сейчас он является действительным членом IEEE и ACM и избранным членом Национальной инженерной академии и Американской академии искусств и наук.
Сюэдун получил степень доктора философии в области электроэнергетики в Эдинбургском университете в 1989 году (обучение спонсировалось зарубежной Британской исследовательской стипендией и стипендией Эдинбургского университета), степень магистра в области компьютерных наук в Университете Цинхуа в 1984 году и степень бакалавра в той же области в Хунаньском университете в 1982 году.
В ноябре 2023 года я рассказывал о том, как подход Zoom к федеративному ИИ позволил добиться качества, почти не уступающего OpenAI GPT-4, при затратах на логический вывод всего 6% от его стоимости. Несмотря на впечатляющие результаты, теперь качество ИИ для наших самых популярных функций конференций стало еще выше по сравнению с OpenAI GPT-4. В ходе нашего внутреннего слепого тестирования с проверкой результатов людьми Zoom AI Companion снизил относительное количество ошибок по сравнению с GPT-4 более чем на 20% для сводок конференций Zoom и на 60% для следующих действий.
В поддержку наших мероприятий по обучению с целью повышения качества выполняемых задач наш уникальный подход с объединением ИИ позволяет воспользоваться всеми преимуществами многих расширенных БЯМ с закрытым и открытым исходным кодом, которые в комбинации дают лучшие результаты. В этом и заключается отличие от других поставщиков, которые привязаны к конкретным БЯМ. Например, Microsoft Copilot опирается на GPT-4, а Google — на Gemini.
Этот подход к наборам ИИ выделяет Zoom AI Companion на фоне других, обеспечивая клиентам высококачественную работу наших самых популярных функций. Как я уже упоминал в своей последней публикации, мы используем нашу собственную систему оценки Z-scorer, чтобы определять качество результатов, сгенерированных ИИ. Сначала мы используем менее дорогостоящую БЯМ, которая лучше всего подходит для каждой задачи. Затем с помощью Z-scorer определяем качество первоначального выполнения задачи. При необходимости можем использовать другую дополнительную БЯМ, чтобы уточнить задачу. Благодаря такому процессу мы получаем более качественный результат аналогично тому, как люди в команде могут достичь больших результатов вместе, чем по отдельности.
С тех пор мы улучшили нашу систему оценки Z-scorer, внедрив дополнительные сигналы качества от различных БЯМ. Кроме того, чтобы улучшить соответствие предпочтениям человека, мы улучшили объединенное стимулированное обучение. Когда мы объединяем БЯМ Zoom с набором дополнительных БЯМ, популярная функция создания сводки конференции Zoom обеспечивает высококачественные результаты и, согласно нашему недавнему эталонному тестированию, теперь может превзойти модель GPT-4, на базе которой работает Copilot в Microsoft Teams.
Что касается безопасности ИИ, мы также уменьшили предвзятость, присущую большинству БЯМ, сформировав группу из нескольких БЯМ, таких как Claude-3, Gemini и GPT-4, чтобы сократить случаи создания ложной информации и улучшить нашу БЯМ Zoom. Например, разные БЯМ вряд ли сформируют одну и ту же ложную информацию, поэтому мы можем получить более последовательные ответы и сократить случаи получения посторонних значений.
Недавно мы провели эталонные тесты нашей результативности по двум самым популярным компонентам сводки конференции — итогам конференций и следующим шагам. Более чем полмиллиона клиентов Zoom включили эти функции с момента запуска AI Companion в сентябре 2023 года.
В рамках нашего последнего внутреннего эталонного теста судьи выбирали самую точную сводку конференции, не зная, какая модель ИИ использовалась для создания каждой из них. Как показано на диаграмме ниже, большая языковая модель (БЯМ) Zoom превзошла GPT-4 на английском языке как по подведению итогов конференций, так и по извлечению следующих шагов в каждом слепом тестировании. Мы можем сократить относительные ошибки при подведении итогов конференций и выведении следующих шагов более чем на 20% и 60% соответственно, что на порядок повысит качество результата.
Рис. 1. Человеческая оценка качества подведения итогов конференций и выведения следующих шагов на английском языке. БЯМ Zoom и Anthropic Claude-3 объединены для получения окончательных результатов, которые значительно превосходят результаты, получаемые при использовании лишь одной модели OpenAI GPT-4.
Мы также оценили качество сводки конференции на японском языке в целом, используя БЯМ Zoom, и сравнили его с качеством GPT-4. Как видно на диаграмме ниже, в данном случае наш объединенный подход позволил достичь лучших результатов.
Мы стремимся предоставлять преимущества Zoom AI Companion в рамках платформы Zoom нашим клиентам, использующим соответствующие планы Zoom, без доплат*. Такая неустанная концентрация внимания на качестве результатов ИИ повышает ценность Zoom Workplace и бизнес-услуг Zoom. Кроме того, согласно исследованию GigaOm по заказу Zoom (опубликовано 26 марта 2024 г.), функция расшифровки AI Companion работала с 95%-ной точностью, а в случаях с вопросами на конференции решение AI Companion предоставляло результаты в четыре раза быстрее, чем сеть ChatGPT-4.
Благодаря этим последним инновациям вы можете быть уверены в том, что наш ИИ, который является одним из лучших по качеству в отрасли, будет создавать сводки для каждой конференции Zoom.
* Решение AI Companion может быть недоступно для некоторых регионов или отраслей.
8 мин. на чтение
Zoom Workplace объединяет в себе решения для коммуникации, вовлечения сотрудников, работы в пространствах и повышения продуктивности на единой платформе со встроенными возможностями Zoom AI Companion.
4 мин. на чтение
Экономьте еще больше времени и сил в течение дня с помощью AI Companion.
5 мин. на чтение
Технический директор (CTO) компании Zoom Сюэдун Хуан (Xuedong Huang) обсуждает наш интегрированный подход к ИИ и его высокую производительность при сниженных затратах.
