Cómo DARPA quiere repensar los fundamentos de la IA para incluir la confianza

Reeditado por Platón

seguidores: 0

Comentario ¿Confiarías tu vida a una inteligencia artificial?

El estado actual de la IA es impresionante, pero verlo como casi inteligente en general es una exageración. Si desea saber qué tan bien va el auge de la IA, solo responda esta pregunta: ¿Confía en la IA?

Bard de Google y modelos de lenguaje grande de Bing impulsados por ChatGPT de Microsoft ambas hecho errores estúpidos durante sus presentaciones de lanzamiento que podrían haberse evitado con una búsqueda rápida en la web. También se han visto LLM malinterpretar los hechos y eliminando las citas incorrectas.

Una cosa es que esas IA solo sean responsables, por ejemplo, de entretener a los usuarios de Bing o Bard, nos dice Matt Turek, subdirector de la Oficina de Innovación de la Información de DARPA. Cuando hay vidas en juego, es otra cosa completamente diferente, razón por la cual la agencia de Turek ha lanzado una iniciativa llamada AI Forward para tratar de responder a la pregunta de qué significa exactamente construir un sistema de IA en el que podamos confiar.

¿La confianza es…?

En una entrevista con El registro, Turek dijo que le gusta pensar en construir una IA confiable con una metáfora de ingeniería civil que también implica depositar mucha confianza en la tecnología: construir puentes.

“Ya no construimos puentes por ensayo y error”, dice Turek. “Entendemos la física fundamental, la ciencia material fundamental, la ingeniería de sistemas para decir, necesito poder abarcar esta distancia y necesito llevar este tipo de peso”, agrega.

Armado con ese conocimiento, dice Turek, el sector de la ingeniería pudo desarrollar estándares que hacen que la construcción de puentes sea sencilla y predecible, pero no tenemos eso con la IA en este momento. De hecho, estamos en un lugar aún peor que simplemente no tener estándares: los modelos de IA que estamos construyendo a veces nos sorprenden, y eso es malo, dice Turek.

“No entendemos completamente los modelos. No entendemos lo que hacen bien, no entendemos los casos extremos, los modos de falla... a lo que eso podría llevar es a que las cosas salgan mal a una velocidad y escala que no hemos visto antes".

Reg los lectores no necesitan imaginar escenarios apocalípticos en los que una inteligencia artificial general (AGI) comienza a matar humanos y emprender la guerra para entender el punto de vista de Turek. “No necesitamos AGI para que las cosas salgan significativamente mal”, dice Turek. Cita caídas repentinas del mercado, como la caída de la libra esterlina en 2016, atribuida a mala toma de decisiones algorítmicas, como un ejemplo.

Luego está el software como el piloto automático de Tesla, aparentemente una IA diseñada para conducir un automóvil que supuestamente se ha conectado con 70 por ciento de accidentes relacionados con la tecnología de asistencia automática al conductor. Cuando ocurren tales accidentes, Tesla no culpa a la IA, nos dice Turek, dice que los conductores son responsables de lo que hace el piloto automático.

Según esa línea de razonamiento, es justo decir que incluso Tesla no confía en su propia IA.

Cómo quiere DARPA hacer avanzar la IA... hacia adelante

“La velocidad a la que pueden operar los sistemas de software a gran escala puede crear desafíos para la supervisión humana”, dice Turek, razón por la cual DARPA lanzó su última iniciativa de IA, AI Forward, a principios de este año.

En un presentation en febrero, la jefa de Turek, la Dra. Kathleen Fisher, explicó lo que DARPA quiere lograr con AI Forward, es decir, construir esa base de comprensión para el desarrollo de IA similar a la que los ingenieros han desarrollado con sus propios conjuntos de estándares.

Fisher explicó en su presentación que DARPA considera que la confianza en la IA es integradora, y que cualquier IA en la que valga la pena confiar debería ser capaz de hacer tres cosas:

Operar de manera competente, lo que que probar definitivamente aún no me he dado cuenta,
Interactuar adecuadamente con los humanos, incluida la comunicación de por qué hace lo que hace (vea el punto anterior para saber qué tan bien va eso),
Comportarse ética y moralmente, lo que, según Fisher, incluiría poder determinar si las instrucciones son éticas o no, y reaccionar en consecuencia.

Articular lo que define una IA confiable es una cosa. Llegar allí es bastante más trabajo. Con ese fin, DARPA dijo que planea invertir su energía, tiempo y dinero en tres áreas: Construir teorías fundamentales, articular prácticas adecuadas de ingeniería de IA y desarrollar estándares para equipos e interacciones humano-IA.

AI Forward, que Turek describe menos como un programa y más como una iniciativa de alcance comunitario, comenzará con un par de talleres de verano en junio y fines de julio para reunir a personas de los sectores público y privado para ayudar a desarrollar esas tres inversiones en IA. áreas

DARPA, dice Turek, tiene la capacidad única de “reunir [juntos] a una amplia gama de investigadores de múltiples comunidades, dar una mirada holística al problema, identificar… formas convincentes de avanzar y luego seguir con inversiones que DARPA cree que podrían conducir”. hacia tecnologías transformadoras”.

Para cualquiera que desee lanzar su sombrero en el cuadrilátero para participar en los primeros dos talleres de AI Forward, lo siento, ya están llenos. Turek no reveló ningún detalle sobre quién asistiría, solo dijo que se esperan varios cientos de participantes con "una diversidad de antecedentes técnicos [y] perspectivas".

¿Cómo es la IA de defensa confiable?

Si DARPA logra desarrollar su modelo de confianza en la IA, ¿cómo usaría exactamente esa tecnología?

Las aplicaciones de ciberseguridad son obvias, dice Turek, ya que se puede confiar en una IA confiable para tomar las decisiones correctas a una escala y velocidad en la que los humanos no podrían actuar. Desde el lado del modelo de lenguaje grande, existe una IA de construcción en la que se puede confiar para manejar adecuadamente información clasificada, o digerir y resumir informes de manera precisa "si podemos eliminar esas alucinaciones", agrega Turek.

Y luego está el campo de batalla. Lejos de ser solo una herramienta utilizada para dañar, la IA podría convertirse en aplicaciones que salvan vidas a través de iniciativas de investigación como En El Momento, un proyecto de investigación que lidera Turek para apoyar la toma rápida de decisiones en situaciones difíciles.

El objetivo de In The Moment es identificar "atributos clave que subyacen a la toma de decisiones humana confiable en entornos dinámicos y representar computacionalmente esos atributos", como lo describe DARPA en la página del proyecto.

“[In The Moment] es realmente un programa de investigación fundamental sobre cómo modelar y cuantificar la confianza y cómo construir esos atributos que conducen a la confianza y a los sistemas”, dice Turek.

La IA armada con esas capacidades podría usarse para tomar decisiones de clasificación médica en el campo de batalla o en escenarios de desastre.

DARPA quiere que los libros blancos sigan a sus dos reuniones de AI Forward este verano, pero a partir de ahí se trata de pasar la etapa de definición y avanzar hacia la actualización, lo que definitivamente podría llevar un tiempo.

“Habrá inversiones de DARPA que surjan de las reuniones”, nos dice Turek. “El número o el tamaño de esas inversiones dependerá de lo que escuchemos”, agrega. ®