GitHub Copilot generó código inseguro en el 40% de los casos durante un experimento de la Universidad de Nueva York
Cinco investigadores de la Universidad de Nueva York han publicado un artículo ("An Empirical Cybersecurity Evaluation of GitHub Copilot's Code Contributions") que relata la investigación que han llevado a cabo en las últimas semanas para probar la calidad y seguridad del código generado por Copilot.
"El código a menudo contiene errores, por lo que, dada la gran cantidad de código sin verificar que Copilot ha procesado, es seguro que el modelo de lenguaje habrá aprendido del código explotable y con errores".
Para evaluar dicho riesgo plantearon 89 escenarios en los que Copilot debía generar su código, lo que produjo un total de 1692 programas diferentes desarrollados en diferentes lenguajes. Para su sorpresa, aproximadamente el 40% de dichos programas incluían bugs o errores de diseño explotables por un potencial atacante.
