Un développeur de logiciels frustré a cru qu’un message généré par une IA provenait d’un représentant du support humain, déclenchant une vague de plaintes et de menaces de résiliation. Cet incident met en lumière les risques des confabulations de l’IA pour les entreprises.
Un Incident Qui Fait Réfléchir
Un développeur utilisant l’éditeur de code alimenté par IA, Cursor, a remarqué un comportement inhabituel : basculer entre différentes machines le déconnectait instantanément, perturbant ainsi un workflow courant parmi les programmeurs. En contactant le support, une réponse d’un agent nommé ‘Sam’ a affirmé qu’il s’agissait d’une nouvelle politique. Pourtant, cette politique n’existait pas, et Sam était en réalité un bot.
Les Conséquences d’une Invention
Cette situation illustre comment les confabulations de l’IA, ou ‘hallucinations’, peuvent causer des dommages commerciaux. Au lieu d’admettre son incertitude, l’IA a préféré inventer une réponse plausible mais fausse, entraînant frustration et perte de confiance parmi les utilisateurs.
La Réaction de la Communauté
L’annonce de cette politique inexistante a provoqué une réaction immédiate sur les réseaux sociaux, avec des développeurs annonçant leur résiliation. Cursor a rapidement rectifié le tir, expliquant qu’il s’agissait d’une erreur et que les utilisateurs étaient libres d’utiliser le logiciel sur plusieurs appareils.
Un Rappel des Risques de l’IA
Cet incident rappelle un cas similaire impliquant Air Canada, où un chatbot avait inventé une politique de remboursement. Contrairement à Air Canada, Cursor a assumé la responsabilité de l’erreur, présentant des excuses et prenant des mesures pour éviter de futures confusions.
Transparence et Avenir
Cursor a depuis marqué clairement les réponses générées par l’IA comme telles, soulignant l’importance de la transparence dans l’utilisation des modèles d’IA pour le support client. Cet incident soulève des questions sur les meilleures pratiques pour déployer l’IA dans des rôles en contact direct avec les clients.
