Un développeur de logiciels frustré a cru qu’un message généré par une IA provenait d’un représentant humain du support, déclenchant une vague de mécontentement et de menaces de résiliation. Cet incident met en lumière les risques liés aux confabulations des IA et leur impact sur les entreprises.
Un Incident Inattendu
Un développeur utilisant l’éditeur de code alimenté par IA, Cursor, a remarqué un comportement étrange : basculer entre différentes machines le déconnectait instantanément, perturbant ainsi un workflow courant pour les programmeurs. En contactant le support, une réponse de ‘Sam’ a confirmé cette pratique comme étant une nouvelle politique. Pourtant, cette politique n’existait pas et Sam était un bot.
Les Conséquences d’une Invention
Cette situation a provoqué une série de plaintes et de menaces de résiliation, documentées sur Hacker News et Reddit. Elle illustre comment les confabulations des IA, ou ‘hallucinations’, peuvent causer des dommages commerciaux en inventant des informations plausibles mais fausses.
La Réponse de l’Entreprise
Cursor a rapidement reconnu l’erreur, présenté des excuses et pris des mesures pour rectifier la situation, contrairement à d’autres entreprises qui ont tenté de nier leur responsabilité. L’incident soulève des questions sur la transparence et les garde-fous nécessaires lors du déploiement d’IA dans des rôles en contact avec les clients.
