Introducción a la seguridad y la protección de la IA

La inteligencia artificial se ha popularizado y nos ayuda a superar las expectativas en cuanto a eficiencia a través de la tecnología. Esto hace que las ventajas de la IA parezcan prácticamente ilimitadas, lo que da a la imaginación mucho margen para redefinir las posibilidades. 

Aunque resulta divertido soñar con la próxima gran idea, la implementación de una nueva solución de IA requiere un fuerte compromiso con la seguridad y la protección de los datos que la impulsan. Lanzamos una nueva serie en el blog de Zoom, donde hablaremos de cómo y por qué debe implementar la IA generativa de forma segura y lo que Zoom está haciendo para crear un entorno de IA seguro para nuestros clientes.

La IA puede utilizarse para muchos fines diferentes, y la IA generativa le ofrece herramientas para generar nuevos contenidos, como imágenes, palabras, sonidos, vídeos y datos a través de varias entradas y salidas de modelos de IA. La IA generativa, a veces denominada GenAI, va más allá de lo humanamente posible y utiliza distintos algoritmos de IA y aprendizaje automático para generar resultados inmediatos cuando se le solicite. Como resultado, las personas pueden agilizar su trabajo y ahorrar tiempo valioso con herramientas de IA generativa para tareas como la redacción de resúmenes de reuniones o la búsqueda de imágenes, o superar la falta de inspiración al escribir con asistencia para la redacción de textos publicitarios. 

Las soluciones de IA generativa pueden tener un valor inestimable para el usuario final, ya que liberan tiempo para dedicarse a tareas más productivas. Pero antes de elegir qué herramientas de IA implementar en sus flujos de trabajo, es importante tener en cuenta algunos aspectos.

1. Determine y defina los problemas que desea resolver. ¿Intenta mejorar el servicio al cliente? ¿Simplificar las tareas repetitivas? ¿Evaluar nuevas tendencias? ¿Traducir y localizar contenido rápidamente? 
2. Elabore un calendario.¿Con qué rapidez puede analizar, evaluar e implementar sus opciones de IA? ¿Qué equipos de su organización tienen que dar su aprobación? ¿Cuál es el coste de ir demasiado despacio?
3. Decida qué es lo que más le importa.Las distintas herramientas de IA presentan diferentes ventajas e inconvenientes, así como preguntas que debe formular a los proveedores que esté evaluando. ¿Qué características se incluyen en sus servicios y cómo se alinean con sus objetivos?

Además de estas cuestiones, es importante investigar cómo gestionan los proveedores la seguridad de la IA y sus medidas de privacidad para implementar y utilizar la IA generativa. También recomendamos a las organizaciones y a sus usuarios finales que investiguen cómo se recopilan y utilizan los datos para potenciar las herramientas de IA que desean implementar.

Para empezar, es importante saber en qué se diferencia la protección de IA y la seguridad de IA. La seguridad y la protección de IA son aspectos fundamentales, pero distintos de la implementación y la protección de los sistemas de IA, pero en concreto:

• La seguridad de IA se centra en resguardar la confidencialidad, la integridad y la disponibilidad de los datos utilizados en los modelos y los sistemas de IA.
• La protección de IA implica consideraciones más amplias relacionadas con la solidez y la fiabilidad; las consecuencias éticas; el impacto social, económico y medioambiental a largo plazo; y el impacto en los derechos y los valores humanos.

Para superar algunas de las dificultades de seguridad que surgen con las integraciones de IA (en particular, la necesidad de proteger los modelos de IA, los conjuntos de datos y los entornos de formación), instituciones respetadas, como el Instituto Nacional de Normas y Tecnología (NIST), el Centro Nacional de Ciberseguridad (NCSC) y, conjuntamente, la Organización Internacional de Normalización (ISO) y la Comisión Electrotécnica Internacional (CEI), están elaborando diversas pautas, normas y marcos. Nuestro enfoque de la seguridad de la IA se adapta a estas normas y prácticas líderes del sector y está diseñado para preservar la confianza de nuestros usuarios centrándonos en la mitigación de las amenazas emergentes. 

Nuestro compromiso con la seguridad de la IA también se integra en todo el ciclo de vida del desarrollo seguro de Zoom (ZSDLC), que comprende la gestión segura de la cadena de suministro; el entrenamiento de modelos; el diseño, el desarrollo y el funcionamiento seguro, y la formación de los empleados. Estamos incorporando consideraciones de IA en nuestras políticas de GRC (Gobernanza, Riesgo y Cumplimiento) y en el marco de riesgos, y también estamos incluyendo pruebas de seguridad e investigación a cargo de nuestro equipo de Garantía de Seguridad.

Nuestro enfoque de la seguridad de la IA comienza con los modelos y datos que utilizamos para crear nuestros servicios. En el caso de los modelos alojados en Zoom, validamos y gestionamos nuestros datos de formación y, al seleccionar proveedores externos, evaluamos sus procedimientos de seguridad para asegurarnos de que se adapten a nuestra misión. Nuestras evaluaciones incluyen la prueba de los modelos frente a métricas de seguridad estándar para validar problemas comunes que pueden presentarse a través del entrenamiento de modelos. 

Los propietarios y los administradores de cuentas disponen de controles para gestionar la disponibilidad de las características de IA para sus cuentas, lo que incluye controles a nivel de usuario y de grupo que ofrecen opciones de implementación. Estas opciones incluyen, cuando corresponda, permitir la revisión por parte de personas de los resultados antes de que se difundan de forma más amplia. Además, cuando se utilizan las características durante las reuniones dentro de Zoom Workplace (nuestra plataforma de colaboración abierta con AI Companion), el icono de destello notifica que la IA está habilitada y en uso para contribuir a proporcionar transparencia a los clientes y participantes. 

A continuación, se presentan tres formas diferentes en las que abordamos la seguridad y la protección de la IA en Zoom:

1. Protección de los productos y servicios de IA de Zoom que utilizan IA generativa —como Zoom AI Companion y Zoom Contact Center Expert Assist— y los modelos subyacentes que los respaldan.
2. Aprovechamiento de la IA en todo nuestro programa y prácticas de seguridad para adelantarnos a las amenazas que van surgiendo.
3. Protección del uso interno de la IA por parte de Zoom.

En Zoom, adoptamos un enfoque federado respecto a la IA, lo que significa que aplicamos los mejores grandes modelos lingüísticos para una tarea específica, incluidos modelos de IA de terceros que los clientes ya conocen. Los clientes pueden elegir qué características utilizar y si desean usar únicamente modelos alojados en Zoom, lo que está disponible para ciertas características. Esto ofrece a los administradores un mayor control sobre lo que está disponible en su organización.

En consonancia con nuestro compromiso con la IA responsable, Zoom no utiliza ningún material de audio, vídeo, chat, pantalla compartida, archivos adjuntos ni otras comunicaciones del cliente, como contenidos del cliente (por ejemplo, resultados de encuestas, pizarras y reacciones), para entrenar los modelos de inteligencia artificial de Zoom o de terceros. Para obtener más información sobre cómo Zoom AI Companion trata los datos de los clientes, visite nuestra página de soporte.

Aunque este debate inicial sobre la seguridad y la protección de la IA es solo un primer acercamiento, en los próximos meses, daremos más detalles sobre cómo estamos intensificando al máximo nuestros esfuerzos durante el cambio global a la IA. Creemos que la IA es una forma increíble de mejorar nuestra manera de trabajar y que esto es solo el comienzo. Mientras seguimos lanzando nuevas características para AI Companion y Zoom Workplace, puede estar seguro de que la seguridad y la protección de la IA ocupan un lugar central en nuestro proceso de desarrollo. 

Si desea obtener más información sobre el enfoque de Zoom respecto a la privacidad y la seguridad, súmese a nuestro próximo seminario web, titulado El enfoque de Zoom respecto a la privacidad y la seguridad de la IA, el 26 de septiembre de 2024.