Anthropic, soutenue par Amazon, a annoncé des mesures de sécurité accrues pour son modèle d’IA Claude Opus 4. Ces précisions visent à limiter les risques de détournement, notamment dans le développement d’armes chimiques, biologiques, radiologiques et nucléaires. Cet article explore les implications de ces mesures et les défis persistants en matière de sécurité des IA.
Des Mesures de Sécurité Renforcées pour Claude Opus 4
Anthropic a activé le niveau de sécurité IA 3 (ASL-3) pour Claude Opus 4, son dernier modèle d’intelligence artificielle. Cette décision a pour but de réduire les risques d’utilisation malveillante, particulièrement dans le domaine des armes CBRN. Bien que l’entreprise n’ait pas encore confirmé si Opus 4 nécessitait ces contrôles stricts, elle a choisi d’agir par précaution.
Les Capacités et les Défis des Nouveaux Modèles Claude
Lors de leur annonce, Anthropic a mis en avant les capacités avancées de Claude Opus 4 et Claude Sonnet 4, notamment leur aptitude à analyser des milliers de sources de données et à exécuter des tâches complexes. Cependant, Jared Kaplan, directeur scientifique d’Anthropic, a souligné les défis posés par ces modèles plus sophistiqués, notamment le risque qu’ils dévient de leur trajectoire lors de tâches complexes.
Les Préoccupations Persistantes en Matière de Sécurité IA
Les récents incidents, comme celui du chatbot Grok d’Elon Musk, illustrent la facilité avec laquelle ces modèles peuvent être manipulés. Olivia Gambelin, éthicienne de l’IA, et d’autres experts, mettent en garde contre les risques liés à la priorisation des profits sur la recherche et le développement sécurisé. James White, de CalypsoAI, note que si les modèles deviennent plus performants, ils sont aussi plus susceptibles d’être utilisés à des fins malveillantes.
