Un chercheur en IA affirme que le monde est en péril et démissionne pour étudier la poésie

Un chercheur en IA quitte son poste avec un avertissement

Un chercheur en sécurité de l'IA a quitté la société américaine Anthropic en lançant un avertissement mystérieux : "le monde est en péril". Dans sa lettre de démission partagée sur X, Mrinank Sharma a exprimé ses préoccupations concernant l'IA, les biorisques et l'état du monde en général.

Sharma a décidé de se consacrer à l'écriture et à l'étude de la poésie, tout en annonçant son retour au Royaume-Uni pour "devenir invisible". Cette démission survient dans la même semaine où une chercheuse d'OpenAI a également quitté son poste, soulevant des inquiétudes sur la décision de l'entreprise d'inclure des publicités dans son chatbot.

Les inquiétudes sur l'IA et la sécurité

Anthropic, connu pour son chatbot Claude, a récemment diffusé une série de publicités critiquant la stratégie d'OpenAI. La société, fondée en 2021 par des anciens employés d'OpenAI, se positionne comme ayant une approche plus axée sur la sécurité dans la recherche en IA.

Sharma a dirigé une équipe qui a étudié les garanties de l'IA. Dans sa lettre, il a mentionné ses contributions, notamment la recherche sur les risques de biorisques assistés par l'IA et l'étude de l'impact des assistants IA sur notre humanité. Malgré son appréciation pour son temps passé chez Anthropic, il a estimé qu'il était temps de partir.

Les crises interconnectées

Sharma a souligné que "le monde est en péril", non seulement à cause de l'IA ou des biorisques, mais en raison d'une série de crises interconnectées. Il a noté qu'il avait souvent constaté à quel point il était difficile de laisser nos valeurs gouverner nos actions, même au sein d'Anthropic.

Il a déclaré que l'entreprise faisait face à des pressions constantes pour mettre de côté ce qui est le plus important. Son choix de poursuivre un diplôme en poésie et d'écrire est une tentative de se retirer de cette pression et de se concentrer sur des valeurs plus personnelles.

Les enjeux de la publicité dans l'IA

Anthropic se décrit comme une "société à but d'intérêt public" visant à sécuriser les avantages de l'IA tout en atténuant ses risques. La société se concentre sur les dangers posés par des systèmes plus avancés, comme leur désalignement avec les valeurs humaines.

Elle a publié des rapports sur la sécurité de ses produits, notamment sur le fait que sa technologie avait été "armement" par des hackers pour mener des cyberattaques sophistiquées. Cependant, elle a également été critiquée pour ses pratiques, y compris un règlement de 1,5 milliard de dollars en 2025 pour une action en justice intentée par des auteurs.

Les préoccupations éthiques croissantes

Comme OpenAI, Anthropic cherche à tirer parti des avantages de la technologie à travers ses propres produits d'IA. Récemment, elle a critiqué la décision d'OpenAI d'inclure des publicités dans son chatbot. Le directeur d'OpenAI, Sam Altman, avait précédemment déclaré qu'il détestait les publicités et les utiliserait en dernier recours.

Les préoccupations éthiques se multiplient, comme le souligne l'ancienne chercheuse d'OpenAI, Zoe Hiztig, qui a exprimé des réserves sur la stratégie de l'entreprise. Elle a averti que les publicités basées sur des données personnelles pourraient manipuler les utilisateurs de manière que nous ne comprenons pas encore.

Conclusion

Le départ de Sharma et les inquiétudes croissantes concernant l'éthique dans le domaine de l'IA soulignent l'importance d'une discussion continue sur les valeurs qui devraient guider cette technologie. Alors que les entreprises comme Anthropic et OpenAI naviguent dans un paysage en évolution rapide, il est crucial de rester vigilant face aux implications de leurs choix.