¿Se podría usar la IA para hacer trampa en las pruebas de programación?

El plagio no se limita a los ensayos. El plagio de programación, donde un desarrollador copia el código deliberadamente sin atribución, es una tendencia creciente. Según un New York Times artículo, en la Universidad de Brown, más de la mitad de las 49 denuncias de violaciones del código académico en 2016 involucraron trampas en informática. En Stanford, hasta el 20% de los estudiantes en un solo curso de informática de 2015 fueron señalados por posibles trampas, informa el mismo artículo.

La Medida de similitud de software, o MOSS, se ha mantenido como uno de los sistemas más populares para detectar plagio en software desde su desarrollo en 1994. MOSS puede analizar código en una variedad de lenguajes, incluidos C, C++ y Java, enumerando automáticamente pares de programas con código similar y resaltar pasajes individuales en programas que parecen ser iguales.

Pero un nuevo estudio encuentra que los sistemas de inteligencia artificial disponibles gratuitamente podrían usarse para completar tareas de programación de nivel introductorio sin activar MOSS. En un artículo en coautoría de investigadores de Booz Allen Hamilton y Eleuther IA, se usó un modelo de lenguaje llamado GPT-J para generar código "que carece de cualquier indicación particular que las futuras técnicas de detección de plagio puedan usar para tratar de identificar el código generado algorítmicamente".

“El objetivo principal del artículo era contextualizar el hecho de que GPT-J puede resolver ejercicios introductorios de ciencias de la computación en un modelo realista de amenazas de plagio en un entorno educativo”, dijo Stella Biderman, investigadora de IA en Booz Allen Hamilton y coautora del estudio. , le dijo a VentureBeat por correo electrónico. "[Nuestros] hallazgos demostraron que un estudiante con acceso a GPT-J y un conocimiento mínimo de informática puede entregar tareas de nivel introductorio sin activar MOSS".

Biderman y Edward Raff, el otro coautor, hicieron que GPT-J respondiera preguntas que requerían que codificara programas que pudieran crear tablas de conversión de millas a kilómetros, calcular el IMC de una persona dado el peso y la altura, y más. GPT-J cometió errores menores que necesitaban corrección en la mayoría de los casos, pero estos errores a menudo no requerían programación más allá de la capacidad de ejecutar código y buscar códigos de error en la web.

Si bien Biderman no encontró evidencia de que GPT-J, de hecho, se esté utilizando para hacer trampa en las tareas, el trabajo plantea dudas sobre si se podría abusar de él (o herramientas similares) en las pruebas de codificación profesional. Muchas empresas de tecnología confían en los exámenes, ya sean internos o de terceros, para evaluar el conocimiento de las contrataciones de software. Dependiendo del diseño, estos podrían ser susceptibles, al menos en teoría, al código generado por IA.

“MOSS se desarrolló mucho antes de que cosas como GPT fueran una posibilidad, pero esto ilustra la importancia de comprender la forma en que las herramientas digitales evolucionan con el tiempo para introducir nuevos riesgos y limitaciones”, agregó Biderman.

Rick Brownlow, director ejecutivo y cofundador de Geektastic, una plataforma de evaluación técnica, dice que no ha visto ninguna evidencia de plagio por parte de un examinado que use IA. Señala que para la mayoría de las empresas, una prueba de codificación forma solo una parte del proceso de contratación. Por lo general, se espera que los candidatos puedan explicar sus soluciones de una manera que deje claro si fueron deshonestos con respecto a sus habilidades de programación.

“[N]uestras herramientas de plagio se detectarán cuando alguien haya copiado otra solución, ya sea total o parcialmente, [incluso detectando] cuando alguien haya ofuscado parte del código copiado para tratar de evitar la detección. Si, y este es un gran si, AI pudiera escribir una solución 'buena' para uno de nuestros desafíos para llevar a casa y esto fuera original (es decir, no rastrear y copiar la solución de la web), entonces esto va a ser tan difícil de detectar como alguien que usa a su amigo desarrollador de Google para ayudar”, dijo Brownlow a VentureBeat. "Creo que cuando lleguemos a un punto en el que la IA resuelva los desafíos de codificación para llevar a casa, estaremos en el punto en el que ya no contrataremos ingenieros de software".

El director ejecutivo de Qualified.io, Jake Hoffner, dice que su empresa también detecta trampas en función de aspectos como "falta de esfuerzo de codificación (p. ej., copiar y pegar, edición mínima)" y recomienda que los clientes hagan que los candidatos revisen su código. Pero él ve un futuro en el que la IA cambia la naturaleza de las evaluaciones de programación, cambiando el enfoque de la codificación real a las habilidades de gestión de código.

De hecho, las herramientas emergentes de sugerencia y revisión impulsadas por IA prometen reducir los costos de desarrollo al tiempo que permiten a los codificadores concentrarse en tareas menos repetitivas. durante su Construcción conferencia de desarrolladores en mayo de 2021, Microsoft detalló una característica en Power Apps que aprovecha el modelo de lenguaje GPT-3 de OpenAI para ayudar a las personas a elegir fórmulas. OpenAI Códice sistema, que potencia GitHub's Copiloto servicio, puede sugerir líneas completas de código. de Intel Bandera de control puede detectar automáticamente errores de codificación. y los de facebook transcodificador convierte el código de un lenguaje de programación a otro.

“[En] el punto en que la IA comienza a escribir más código de calidad, la industria en su conjunto comienza a moverse hacia los desarrolladores…. dirigiendo a las máquinas para que escriban código, pero menos involucradas en la codificación real”, dijo Hoffner. “[L]a necesidad de que se involucre cualquier código comienza a pasar a un segundo plano para muchas de las tareas de 'reinventar la rueda' que los desarrolladores aún realizan hoy en día, como ensamblar una aplicación móvil que recupera y escribe datos. Los codificadores pasan de estas tareas comunes a cosas que están menos definidas y que son novedosas. Estas son áreas en las que no habrá suficiente código existente para que los sistemas de IA aprendan, por lo que los codificadores aún deberán realizarlo, y estas son las tareas que comenzaremos a probar en cuanto a la evaluación".

Nis Frome, gerente general de la plataforma de tutoriales y desafíos de codificación Coderbyte, dice que ve menos riesgo en la IA utilizada para hacer trampa en los exámenes de codificación que en los empleadores "[sacrificando] excelentes experiencias de candidatos por candidatos honestos". Demasiado enfoque en la prevención de las trampas generalmente se produce a expensas del reclutamiento y la contratación, dice, con la consecuencia de rechazar a los candidatos.

Un reporte de encuesta de CoderPad y CodinGame pone el problema en claro relieve. Casi la mitad de los reclutadores citan encontrar desarrolladores calificados como su desafío número uno, y el 39 % afirma que ahora han ampliado su grupo de candidatos a desarrolladores sin antecedentes académicos, frente al 23 % en 2021.

“Vemos innumerables técnicas para hacer trampa, desde enviar la evaluación a otra persona hasta copiar las respuestas en línea. Tenemos pocas dudas de que los candidatos han intentado usar GPT-J o copiloto al realizar evaluaciones de código en Coderbyte”, dijo Frome a VentureBeat por correo electrónico. “[Pero] hacer trampa siempre será un juego del gato y el ratón… Lo más probable es que si la mayoría de sus candidatos hacen trampa, ¡usted tiene un problema de abastecimiento! Tal vez necesite más candidatos senior y no debería publicar puestos en bolsas de trabajo universitarias. La solución no es hacer una experiencia autoritaria y tediosa para todos los candidatos”.

Biderman señala que vigilar la integridad, ya sea que involucre a la IA o no, no es un esfuerzo nuevo. En la misma línea que la predicción de Hoffner, el advenimiento de la IA generadora de código fácil de usar podría simplemente requerir nuevas evaluaciones en las que las tareas de depuración se realicen con soluciones generadas por IA, dice.

“Aún podemos enseñar a los estudiantes las habilidades informáticas importantes que necesitan y encontrar nuevas aplicaciones para [IA]. Estos cambios estructurales podrían brindar mejores resultados para mitigar el plagio y los atajos, al tiempo que allanan el camino para un futuro en el que más herramientas de desarrollo impulsadas por IA estén en manos de un conjunto más amplio de usuarios”, agregó Biderman. Esto también nos ayuda a prepararnos para un futuro potencial en el que la IA y el aprendizaje automático podrían hacer más que solo tareas de nivel introductorio, y debemos comenzar a prepararnos para ello”.

Fuente: https://venturebeat.com/2022/01/28/could-ai-be-used-to-cheat-on-programming-tests/