⚠️ Non seulement l’utilisation des LLM tend à produire du code moins sécurisé, mais elle renforce également la confiance des développeurs dans la qualité de leur travail !
🔬 C’est ce que révèle une étude menée auprès de 47 participants : deux tiers disposaient de l’aide d’un LLM, tandis que le dernier tiers travaillait sans assistance. Tous devaient réaliser six exercices de programmation impliquant des risques de sécurité.
🧠 L’étude montre notamment que plus les développeurs rédigent des prompts longs et multiplient les itérations à partir des réponses précédentes du LLM, plus ils tendent à considérer le résultat comme valide, indépendamment du niveau de sécurité du code obtenu. Un biais de confiance dont nous devons prendre conscience.
📚 L’article n’est pas exempt de limites, mais il se situe dans le haut du panier de la recherche en génie logiciel. Il fait partie des rares études sur le sujet à disposer d’un véritable groupe contrôle, soumis aux mêmes exercices que les autres participants, mais sans aucune assistance par IA.
🔎 Les résultats datent toutefois de 2023 et reposent sur un échantillon restreint, composé majoritairement d’étudiants. À ce jour, les réplications strictes restent rares, même si une prépublication de 2026 a partiellement repris le protocole expérimental.
SOURCE
Perry, Neil, Megha Srivastava, Deepak Kumar, and Dan Boneh. 2023. “Do Users Write More Insecure Code with AI Assistants?” In Proceedings of the 2023 ACM SIGSAC Conference on Computer and Communications Security, 2785–2799. New York: Association for Computing Machinery. DOI:10.1145/3576915.3623157.
Enzo Sandré
📄 Lien public DOIs: 10.1145/3576915.3623157