¿Puedes confiar en la IA para proteger la IA?

Ahora que la IA se dirige a la corriente principal de la arquitectura de TI, comienza la carrera para garantizar que permanezca segura cuando se expone a fuentes de datos que están fuera del control de la empresa. Desde el centro de datos hasta la nube y el perímetro, la IA tendrá que lidiar con una amplia variedad de vulnerabilidades y una gama cada vez más compleja de amenazas, casi todas impulsadas por la propia IA.

Mientras tanto, habrá mucho en juego, dado que es probable que la IA proporcione la columna vertebral de nuestra atención médica, transporte, finanzas y otros sectores que son cruciales para respaldar nuestra forma de vida moderna. Entonces, antes de que las organizaciones comiencen a introducir la IA en estas arquitecturas distribuidas con demasiada profundidad, podría ser útil hacer una pausa por un momento para asegurarse de que pueda protegerse adecuadamente.

Confianza y transparencia

En una entrevista reciente con VentureBeat, Director de IA de IBM, Seth Dobrin señaló que el edificio confianza y transparencia en toda la cadena de datos de IA es crucial si la empresa espera obtener el máximo valor de su inversión. A diferencia de las arquitecturas tradicionales que simplemente se pueden apagar o robar datos cuando se ven comprometidas por virus y malware, el peligro para la IA es mucho mayor porque se le puede enseñar a volver a entrenarse a sí misma a partir de los datos que recibe de un punto final.

“El punto final es una API REST que recopila datos”, dijo Dobrin. “Necesitamos proteger a la IA del envenenamiento. Tenemos que asegurarnos de que los puntos finales de IA sean seguros y monitoreados continuamente, no solo por el rendimiento sino también por el sesgo”.

Para hacer esto, Dobrin dijo que IBM está trabajando para establecer robustez contradictoria a nivel de sistema de plataformas como Watson. Al implementar modelos de IA que interrogan a otros modelos de IA para explicar sus procesos de toma de decisiones y luego corregir esos modelos si se desvían de las normas, la empresa podrá mantener posturas de seguridad a la velocidad de la economía digital actual. Pero esto requiere un cambio en el pensamiento de la caza y la frustración del código nefasto para monitorear y administrar la reacción de la IA a lo que parecen ser datos ordinarios.

Ya están comenzando a circular informes sobre las muchas formas ingeniosas en que se manipulan los datos para engañar a la IA para que altere su código de manera dañina. jim dempsey, profesor de la Facultad de Derecho de UC Berkeley y asesor principal del Centro de Políticas Cibernéticas de Stanford, dice que es posible crear audio que suene como un habla para los algoritmos de ML, pero no para los humanos. Los sistemas de reconocimiento de imágenes y las redes neuronales profundas pueden desviarse con perturbaciones que son imperceptibles para el ojo humano, a veces simplemente cambiando un solo píxel. Además, estos ataques pueden lanzarse incluso si el perpetrador no tiene acceso al modelo en sí o a los datos utilizados para entrenarlo.

Prevenir y responder

Para contrarrestar esto, la empresa debe centrarse en dos cosas. Primero, dice John Roese, director de tecnología global de Dell Technologies, debe dedicar más recursos a prevenir y responder a los ataques. La mayoría de las organizaciones son expertas en detectar amenazas utilizando servicios de gestión de información de eventos impulsados ​​por IA o un proveedor de servicios de seguridad gestionada, pero la prevención y la respuesta siguen siendo demasiado lentas para proporcionar la mitigación adecuada de una infracción grave.

Esto lleva al segundo cambio que la empresa debe implementar, dice Corey Thomas, CEO de Rapid7: potenciar la prevención y la respuesta con más IA. Esta es una píldora difícil de tragar para la mayoría de las organizaciones porque esencialmente le da a la IA un margen de maniobra para realizar cambios en el entorno de datos. Pero Thomas dice que hay formas de hacer esto que permiten que la IA funcione en los aspectos de seguridad en los que es más hábil para manejar, al tiempo que reserva capacidades clave para los operadores humanos.

Al final, todo se reduce a la confianza. AI es el chico nuevo en la oficina en este momento, por lo que no debería tener las llaves de la bóveda. Pero con el tiempo, a medida que demuestre su valor en entornos de nivel de entrada, debería ganarse la confianza como cualquier otro empleado. Esto significa recompensarlo cuando se desempeña bien, enseñarle a hacerlo mejor cuando falla y siempre asegurarse de que tenga los recursos adecuados y los datos adecuados para garantizar que comprenda lo que debe hacer y la forma correcta de hacerlo.

Fuente: https://venturebeat.com/2022/02/04/can-you-trust-ai-to-protect-ai/