Cómo identificar la solución de gobernanza del modelo de IA adecuada para su empresa

Este artículo fue aportado por Harish Doddi, director ejecutivo de Datatron.

La pandemia ha causado estragos en la modelos de IA cuidadosamente desarrollados muchas organizaciones tenían en su lugar. Con tantas variables diferentes cambiando al mismo tiempo, lo que hemos visto en muchas empresas es que sus modelos se volvieron poco confiables o inútiles. Tener una buena documentación que muestre el ciclo de vida de un modelo es importante, pero aún así no proporciona suficiente información para continuar una vez que el modelo se vuelve poco confiable.

Lo que se necesita es una mejor gobernanza del modelo de IA, que puede ayudar a generar una mayor responsabilidad y trazabilidad para los modelos de IA/ML al hacer que los profesionales aborden preguntas como:

• ¿Qué variables de entrada están entrando en el modelo? 
• ¿Cuáles son las variables de salida? 
• ¿Cómo se comporta el modelo en términos de ciertas métricas? 
• ¿Cómo eran las versiones anteriores? 
• ¿Quién tiene acceso a ella? 
• ¿Alguna persona no autorizada ha accedido a él?  

¿Cómo ayuda exactamente la gobernanza del modelo de IA a abordar estos problemas? ¿Y cómo puede asegurarse de que lo está utilizando para satisfacer mejor sus necesidades? sigue leyendo 

Demasiado esfuerzo manual 

Los científicos de datos utilizan un variedad de métodos y herramientas para desarrollar sus modelos, ya sea SAS, R, Python o la multitud de bibliotecas de software de aprendizaje automático disponibles en la actualidad. Con el aprendizaje automático todavía en pañales, hay un montón de opciones para elegir. Algunos casos de uso son simplemente más efectivos con ciertos lenguajes o marcos, por ejemplo, y los científicos de datos tienden a ser relativamente leales a un lenguaje sobre otro.  

Dado que este campo es tan especializado y los científicos de datos son tan pocos, su trabajo está aislado del resto de la empresa. Esto hace que sea difícil para el principal organismo de TI o de supervisión garantizar una adecuada gobernanza y auditoría de modelos en toda la empresa. Eso significa que este organismo deberá realizar un gran esfuerzo manual para ir a todos los departamentos y recopilar la información de gobernanza modelo necesaria. Pueden superar este problema implementando una solución de gobierno de IA.

Evaluación de soluciones de gobernanza de IA

Hay ciertos expectativas, reglas y suposiciones que los modelos ML deben cumplir durante el proceso de desarrollo. Cuando estos modelos se implementan en producción, pueden producir resultados muy diferentes a los de los entornos de desarrollo controlados. La gobernanza es fundamental aquí.

Los involucrados en la gobernanza deben tener un medio para rastrear los diferentes modelos y las diferentes versiones asociadas con los modelos. Para que una solución de gobierno de IA sea efectiva, su catálogo debe tener la capacidad de rastrear y documentar el marco en el que se desarrollan los modelos. 

Además, el catálogo debe tener la capacidad de asegurar el linaje del modelo donde asocia los modelos con las características de funcionalidad dentro de los modelos. Es importante destacar que permite el cálculo de las métricas de gobierno adecuadas de las diversas funciones. 

En los últimos años, a medida que más organizaciones han modelos de aprendizaje automático operacionalizados, su lado oscuro ha surgido en forma de prejuicios y otros problemas. Un ejemplo sería una institución financiera cuyos modelos recomiendan ofrecer límites de crédito más bajos a las mujeres en comparación con los hombres que viven en el mismo hogar.  

Es necesario tener la capacidad de calcular y realizar un seguimiento de las métricas que pueden afectar a estos modelos, como anomalías, riesgos, niveles de rendimiento, sesgos y variaciones de datos. No es posible simplemente calcularlos en un laboratorio; los cálculos deben hacerse cuando los modelos están en producción.

Necesitará un tablero que pueda mostrar estas métricas a sus científicos de datos y usuarios comerciales. Las métricas deben mostrarse de tal manera que alerten a los usuarios comerciales sobre posibles problemas. Y sus científicos de datos necesitan ver las métricas que los guiarán a esos posibles problemas. También necesitará una función que le permita identificar posibles anomalías en función de los umbrales específicos de la empresa que establezca, y notificar a ambas partes si algo no funciona sin abrumarlos con falsas alarmas.  

Los modelos ML necesitan acceso seguro

Particularmente en organizaciones más grandes, la seguridad del modelo es crucial. Podrían ocurrir serios problemas si un modelo se expone accidentalmente al departamento equivocado. Por ejemplo, imagine que los modelos ML se han optimizado con éxito para aumentar los ingresos en algunos puntos. Ahora imagine que otro departamento utiliza incorrectamente esos modelos. Eso podría exponer a la empresa a multas equivalentes a millones de dólares por violaciones regulatorias.

Es posible ajustar y aplicar ingeniería inversa a los modelos, pero si no comprende su contexto original, su organización podría correr el riesgo de posibles programas de iteración. En este caso, los modelos modificados no están haciendo lo que están documentados. La gobernanza modelo ha abandonado el edificio.

Es importante solicitar permiso para acceder a modelos confidenciales que no deben compartirse con otros departamentos. Para asegurarse de que ninguna parte no autorizada, incluidas las aplicaciones, pueda acceder a su modelo, necesita encriptación y un registro de auditoría. Debe establecer un método que garantice la trazabilidad, la transparencia y la responsabilidad.

La estandarización es clave

Es obvio que una solución de gobernanza modelo ofrece muchos beneficios, pero la implementación puede ser un desafío. Es probable que la velocidad, el costo y la eficacia se vean afectados por los complejos flujos de revisión de la gobernanza del modelo de IA. 

La consistencia es un gran problema. Su solución de gobierno debe ser aplicable a todos los modelos, no solo a ciertos departamentos comerciales. No todas las soluciones ofrecen estandarización, así que agregue ese elemento a su lista cuando las examine. 

Haciendo que sus modelos tengan éxito

Algunas organizaciones han tenido que luchar a medida que la pandemia debilitó o destruyó sus modelos de IA y ML. Esto también resaltó la necesidad de un modelo de gobierno para mejorar la responsabilidad y la trazabilidad de los modelos de aprendizaje automático. Una solución de gobernanza modelo, debidamente examinada, reducirá los riesgos y aumentará la probabilidad de modelos exitosos que sirvan a los objetivos comerciales.

Harish Doddi es el director ejecutivo de Datatron.

Fuente: https://venturebeat.com/2022/02/01/how-to-identify-the-right-ai-model-governance-solution-for-your-business/