“Hay que poner las barreras de seguridad adecuadas para aprovechar la oportunidad de la IA”
Natasha Crampton dirige la Oficina de IA Responsable de Microsoft y es la primera persona en ocupar el puesto de Directora de IA Responsable desde 2019. Dirige un equipo multidisciplinar que define y rige el enfoque de la empresa respecto a la IA responsable, y contribuye al debate sobre las nuevas leyes, normas y estándares necesarios para garantizar los beneficios de la IA y protegerse de sus riesgos. Trabaja mano a mano con Sarah Bird, Jefa de Producto de Inteligencia Artificial Responsable en Microsoft, quien ayuda a crear y aplicar principios, normas y herramientas de IA responsable en toda la empresa, y ha dirigido el grupo de expertos interempresarial para crear Microsoft Copilot y Github Copilot.
Ambas responsables responden a una serie de preguntas en una vista en Redmond.
¿Qué supone ser la primera directora responsable de IA en Microsoft?
NATASHA CRAMPTON: En pocas palabras, ha sido un gran privilegio hacer este trabajo, que está justo en la frontera en esta intersección de la tecnología, la sociedad y la ley. Hace seis años me mudé de las subsidiarias de Microsoft Australia y Nueva Zelanda a Redmond. Y pude trabajar en esta frontera completamente nueva de todo lo relacionado con la IA responsable. En ese momento, teníamos un conjunto de seis principios de muy alto nivel para guiar nuestro trabajo. Y lo que he estado haciendo desde que estoy aquí es básicamente todo el trabajo para poner en práctica esos principios y prácticas. Al redactar las políticas, guían a nuestros equipos de ingeniería en la forma en que construyen estos sistemas, gobiernan el esfuerzo, se aseguran de que tengamos a las personas adecuadas en los lugares correctos haciendo ese tipo de trabajo. Y he estado colaborando muy estrechamente con Sarah en el curso de hacer todo eso.
Sarah Bird, eres la directora de productos de IA responsable. ¿Qué es lo que haces y por qué te apasiona tanto?
SARAH BIRD: Sí. En realidad, mi función consiste en trabajar muy de cerca con la disciplina de lo que queremos lograr desde el punto de vista de las políticas, y luego averiguar cómo lo logramos en la práctica. Esto no es algo lineal. De hecho, tenemos que trabajar juntos para resolverlo. Tenemos que innovar conjuntamente entre la política y la práctica. Los ataques de inyección rápida o las alucinaciones es algo que realmente vimos surgir con la ola más reciente de IA generativa. Cuando salió por primera vez, no teníamos idea de cómo medir ese riesgo ni mitigar ese riesgo. No basta con averiguar cómo hacerlo. Tenemos que hacer que sea fácil para todos. Creamos herramientas de producción, tecnologías y sistemas que facilitan su adopción por parte de Microsoft. Así, por ejemplo, podemos construir nuestros detectores para ataques de inyección rápida directamente en nuestra plataforma de IA para que se activen automáticamente de forma predeterminada. Y luego tenemos que asegurarnos de que los equipos de Microsoft realmente estén aplicando lo último y lo mejor. Construimos procesos y herramientas de cumplimiento que garantizan que estamos constantemente alcanzando el estándar que nos propusimos.
Natasha, ¿podría hablarnos de esos valores?
NATASHA CRAMPTON: Tenemos un conjunto de seis principios que han guiado nuestro esfuerzo desde el principio. Creemos que los sistemas de IA deben ser justos, fiables y seguros, privados y seguros, inclusivos, responsables y transparentes. Estos seis principios han sido establecidos como nuestra estrella polar. Esos principios son necesarios pero no suficientes porque a veces hay tensiones entre algunos de esos seis principios. Nadie está en desacuerdo con la proposición de que el sistema de IA debe ser justo. Pero los ingenieros quieren saber cómo hacerlo, qué significa ser justo para los conjuntos de datos que se utilizan para entrenar estos modelos, qué significa sobre las pruebas que debemos hacer antes y después de lanzar el producto al mundo. Quieren saber qué significa eso para decirles a mis clientes y que implementen estos sistemas de manera segura. Porque, aunque sabes que Microsoft entiende profundamente que es nuestra propia responsabilidad, no podemos controlar todas las implementaciones posteriores que realizan nuestros clientes. Y, sin embargo, queremos compartir todo el conocimiento que hemos adquirido a lo largo de los años y asegurarnos de que estamos haciendo que sea realmente fácil de usar para nuestros clientes. Aprendemos de casos de uso específicos. Tenemos, por ejemplo, un proceso que se llama Usuarios Sensibles, en el que para los sistemas de mayor impacto los sometemos a una revisión adicional y a la ayuda y supervisión de expertos. Pero en realidad solo estamos tratando de desarrollar la práctica de la IA responsable, así como la cultura de la IA responsable en esta empresa, para que esos seis principios se conviertan en una parte cotidiana de la forma en que trabajamos aquí en Microsoft. No es un complemento al final. Es parte del día a día.
Sarah, ¿qué significa cuando la IA es responsable y cómo se muestra en el producto y la ingeniería?
SARAH BIRD: En realidad, como decía antes, son muchas cosas. Son las personas, los procesos, las herramientas y las tecnologías. Cuando estamos mirando cómo hacemos algo, tenemos que mirar todas esas dimensiones. Una de las formas importantes que debemos hacer para saber que algo está listo para enviarse y está funcionando según lo previsto, es probarlo. Es muy, muy difícil si no tienes los datos saber si el sistema se comporta como quieres. Usamos cosas como la medición automatizada para hacer eso. Pero una de las herramientas realmente importantes de nuestro kit de herramientas también es el red-teaming, en el que tomamos expertos de diferentes tipos de riesgo y les pedimos que prueben el sistema. Y esto es realmente importante para los sistemas novedosos. Todavía no sabemos realmente lo que es posible o si es un sistema de muy alto riesgo, queremos asegurarnos de que no tengamos ninguna brecha. Eso nos ayuda a identificar dónde tal vez nos perdimos algo en las pruebas y necesitamos expandir nuestras pruebas o dónde tal vez nuestras mitigaciones no funcionan. Este equipo es muy importante. Para el equipo rojo de IA necesitamos gente que vaya a investigar los problemas de los estereotipos, puedan ver el riesgo de producir contenido con derechos de autor. Tuvimos que encontrar el perfil adecuado de las personas y averiguar cómo contratarlas para construir este nuevo equipo y descubrir cómo entrenarlas.
¿Cómo se construye este nuevo territorio, la IA responsable?
NATASHA CRAMPTON: Es de vital importancia tener conversaciones no solo dentro de la empresa, sino también fuera de ella. Somos responsables de participar externamente en las nuevas leyes. Si bien Microsoft comprende profundamente la responsabilidad que tenemos, ninguna empresa de tecnología puede hacer esto sola. Y, en última instancia, necesitamos nuevas leyes en este espacio. El interés del gobierno en la IA, especialmente en los últimos dos años después de que ChatGPT irrumpiera en escena, se ha disparado. Hubo algunos lugares como Europa, por ejemplo, que ha estado considerando durante mucho tiempo la Ley de IA, que ahora se ha adoptado. Algunos países están pensando en estos temas antes, pero el nivel de interés ha aumentado. Trabajo muy de cerca no solo con los gobiernos, sino también con la sociedad civil, las partes interesadas, el mundo académico y otros para ayudar a dar forma a estas nuevas leyes. Y hay una convicción real de que la oportunidad de la IA es tan grande que tenemos que asegurarnos de poner en marcha las barreras de seguridad adecuadas para que podamos desbloquear esos beneficios positivos, para que podamos asegurarnos de que esta sea una ola de transformación que llegue a todos en todo el mundo, a diferencia de algunas olas anteriores de transformación digital que no han llegado a todos en todo el mundo.
Una parte fundamental de la oficina de IA responsable es que veamos las dos caras de la moneda. Somos capaces de ofrecer ideas de la práctica para que nuestros responsables de la formulación de políticas estén al tanto de hasta dónde llega, y podemos ayudar a respaldar los objetivos que tienen con ideas realmente prácticas de lo que hemos aprendido dentro de la empresa. Y lo contrario también es cierto, en el sentido de que traer esas ideas de los responsables políticos, los defensores de la sociedad civil y la academia a la empresa también es realmente útil, porque lo que encuentro con nuestros socios de ingeniería es que están muy agradecidos e interesados en comprender los contornos del terreno que se avecina. Necesitamos más perspectivas que pesen sobre esta tecnología crítica que las perspectivas de la personas que trabajan en Microsoft.
SARAH BIRD: Si no lo hacemos bien, no tenemos el emocionante futuro de la IA. Y esa es una de las cosas que me levanta de la cama todos los días. Debido a que habla el lenguaje humano, la IA permite interactuar con sistemas más complejos, como que alguien que no codifica pueda controlar un sistema informático de manera más efectiva. Permite a alguien navegar potencialmente por la burocracia gubernamental utilizando el idioma que conoce y obteniendo respuestas que puede entender. Vemos esto como una tecnología increíblemente empoderadora para todos. Parte de nuestro enfoque responsable de la IA es decir que es importante poner esta tecnología en manos de las personas y hacer que realmente funcione. Pero tenemos mucho que hacer para que realmente funcione y para todos. A menudo pasamos mucho tiempo hablando sobre el riesgo. Es importante hablar de riesgo es porque hay muchos beneficios en la tecnología.
¿Qué está haciendo Microsoft para abordar cosas como el sesgo de alucinación?
SARAH BIRD: Estamos haciendo mucho, y esta podría ser una respuesta muy larga. Pero primero comencemos con una comprensión más profunda de los riesgos. Probamos. Entendemos cómo funciona. A continuación, creamos pruebas para el riesgo. Es muy difícil crear mitigaciones o soluciones a menos que realmente pueda probarlo. Estamos muy cerca de Microsoft Research para desarrollar pruebas para estos nuevos tipos de riesgo. Esas pruebas nos permiten iniciar este ciclo de innovación en el que podemos experimentar con diferentes tipos de mitigaciones y descubrir cómo incorporarlas al sistema para abordar ese riesgo. Y terminamos usando una estrategia de defensa en profundidad. Utilizamos un enfoque por capas para abordarlos. Ahora, uno de los desafíos que tenemos es que a veces el modelo tiene los datos correctos, pero no los usa. Agrega sus propios datos o los cambia. Comete un error. A continuación, dedicamos nuestro tiempo a asegurarnos de que el modelo utilice esos datos de forma eficaz. Hacemos un enfoque por capas. Trabajamos, por ejemplo, con nuestro socio OpenAI para incorporar en el propio modelo más instrucciones que le ayuden a centrarse en los datos que se le proporcionaron y a responder en función de ellos. Lo segundo que añadimos entonces fue un sistema de seguridad que, en tiempo real, detectará si hay un desajuste entre los datos y la respuesta que dio el modelo. Eso puede detectarlo. La pieza más reciente que acabamos de lanzar, y que todavía estamos aprendiendo a usar en la práctica, es que ahora que hemos detectado ese desajuste, hagamos que el sistema de IA lo reescriba para que podamos corregir ese error en tiempo real antes de que llegue a los usuarios. Luego aumentamos eso con monitoreo en segundo plano para ver cómo estamos en general para ver si necesitamos hacer ajustes. Tal vez estemos viendo una tasa de alucinaciones que creemos que es demasiado alta. Y luego, además de eso, tenemos soluciones rápidas en las que podemos ir y bloquear algo o cambiar instrucciones. Si hay un área en la que realmente no lo está haciendo tan bien, tal vez diremos que el sistema debería responder en base a eso hoy. Tomamos este libro de jugadas mixto para cada riesgo y averiguamos qué partes del libro de jugadas van a ayudar a abordar ese riesgo, y cómo las componemos realmente juntas.
Microsoft está orgulloso de sus principios pero al mismo tiempo es uno de los principales inversores en OpenAI que se ha visto envuelto en muchas controversias por no seguir estos principios…
NATASHA CRAMPTON: Quiero hablar en nombre de Microsoft y no en nombre de OpenAI, pero lo que diré es que para Microsoft es fundamental que tengamos un sentido compartido de lo que es la seguridad para estos sistemas.Y puedo decir que a lo largo de los años hemos trabajado muy de cerca con OpenAI, y Sarah también lo ha hecho. Ambos manteníamos intercambios regulares con nuestros colegas de allí. En última instancia, tenemos que asegurarnos de que cuando tomamos los modelos de OpenAI y los ponemos a disposición en las plataformas de Microsoft, nos mantenemos en el mismo estándar alto que tendríamos si estuviéramos entrenando el modelo nosotros mismos, lo que también hacemos. Las estructuras se han puesto en marcha para garantizar que cuando obtengamos modelos de OpenAI, los pongamos en nuestras plataformas, los fabriquemos y los implementemos en nuestros productos de una manera que refleje nuestros valores. Y es una relación muy cotidiana la que tenemos con OpenAI a día de hoy.
Los modelos son los mismos, sin embargo, añadimos capas adicionales a nuestros modelos.
SARAH BIRD: Creo que la otra cosa que es realmente importante que la gente entienda es que tenemos una copia del modelo que permanece completamente con el ecosistema de Microsoft, para que podamos crear nuestras propias garantías de privacidad, nuestras propias garantías de seguridad en torno al uso de ese modelo. Y hemos hecho pruebas exhaustivas para poder ofrecer las garantías de seguridad adecuadas. Y luego, como dijo Natasha, añadimos mucho más. Por nuestro lado, cuando se utiliza un modelo de OpenAI de Microsoft, se utiliza completamente la pila de Microsoft, y luego OpenAI tiene su propia versión que también está construyendo. No es que cuando usas un modelo de OpenAI a través de Microsoft lo llames OpenAI. Y ese también es un error común.
Pero estos modelos ha sido entrenado con, por ejemplo, artículos del New York Times, que se han utilizado sin permiso…
NATASHA CRAMPTON: Como uted sabe, estos litigios están en curso. No creo que sea una conclusión que podamos sacar hoy en día de que esos modelos hayan sido entrenados sin permiso porque hay problemas de derechos de autor muy vivos. Creemos que los modelos han sido entrenados de acuerdo con las leyes de derechos de autor. Y no es sorprendente que veamos evolucionar este tipo de casos, porque si piensas en cada transformación tecnológica, ya sea la invención de la imprenta, cuando se desarrollaron las cámaras, la ley siempre tiene que evolucionar con estos cambios en la tecnología. Nosotros, como Microsoft, esperamos que, a medida que lideramos esta nueva ola de IA, haya casos y preguntas legales buenas y genuinas que deban responderse. Nosotros también estamos involucrados en esos casos. Es demasiado pronto para especular sobre el resultado, pero creo que es una especie de reflejo de lo que sucede cuando tenemos el cambio en el ecosistema. Y también diré que no es solo que haya casos, y los estamos manejando desde un punto de vista legal. También estamos muy activamente en conversaciones con las comunidades de creadores, y con muchas capacidades diferentes, desde las salas de redacción hasta la industria cinematográfica y similares. Creemos que es muy importante tener un diálogo en el que sea un intercambio bidireccional y también se trate de imaginar el futuro, cómo serán algunos de los nuevos modelos de negocio, porque esencialmente estamos construyendo una economía de IA completamente nueva aquí, y no va a ser lo mismo que la economía anterior a la IA. Lo dejamos de esa manera también.
