Spirale infernale

Pour faire face aux psychoses générées chez certaines internautes par l’usage d’IA, des internautes canadiens et états-uniens s’organisent.

Comment faire face aux psychoses générées par l’utilisation intensive d’outils d’intelligence artificielle générative ? Alors que les plaintes pour incitation au suicide contre les constructeurs de ChatGPT, Gemini ou Replika s’accumulent, déposées par les proches de personnes qui se sont donné la mort après de longs échanges avec les robots conversationnels, la question se pose de manière toujours plus urgente.

En ligne, et depuis les États-Unis et le Canada, un groupe informel s’est construit en quelques mois pour apporter des réponses, aussi bien aux personnes victimes de ces fantasmes alimentés par les machines génératives que pour leurs proches. Son nom : « groupe de soutien Spirale » (Spiral Support Group), en référence aux « spirales » d’échanges dans lesquelles tombent certains internautes (le terme a émergé au creux des échanges en ligne, sur divers forums ou subreddit). En quelques mois, le groupe de soutien s’est formalisé, pour être administré par la récente ONG canadienne The Human Line Project, dont nous avions déjà parlé dans un précédent article.

• Des délires « by design » ? Comment les IA génératives peuvent alimenter des psychoses

Un serveur Discord pour « spiralers » et proches de « spiralers »

À l’origine, le groupe a été créé par quatre personnes, dont Allan Brooks, un Canadien lui-même tombé dans une spirale d’IA dont il a publiquement témoigné. À ses côtés, le Québécois Étienne Brisson a été poussé à l’action après qu’un de ses proches a vécu une chute suffisamment violente dans des échanges avec ChatGPT pour se retrouver hospitalisé pendant plusieurs semaines sur ordre de la Justice.

Auprès de Futurism, les deux hommes témoignent de l’évolution de ce groupe informel vers une organisation plus officielle réunissant désormais plus de 200 personnes, dont l’essentiel échange quotidiennement sur un serveur Discord.

Parmi elles, d’anciens « spiralers », voire des personnes hésitant encore entre croire leurs échanges avec les chatbots d’IA générative et en sortir ; la « famille et les amis », des proches de personnes tombées dans ce genre de trou du lapin (rabbit hole) d’échanges si crédibles, avec les robots, qu’ils s’en isolent du monde extérieur ; et quelques scientifiques ou professionnels de la santé mentale.

Dans un sens, l’initiative ressemble à celle de QAnon Casulaties, cette communauté Reddit dédiée au soutien entre proches de personnes tombées dans la théorie QAnon. Comme du côté des mécaniques complotistes, des récits de familles déchirées par la chute progressive d’un de leurs membres dans des échanges avec un outil d’IA émergent, des proches cherchent de l’aide pour tenter de percer la carapace de récits faux ou fantasmagoriques de leurs partenaires, enfants, amis.

Dans ce contexte-ci, cela dit, difficile de ne pas penser aux récits des proches d’Adam Reine, qui s’est suicidé à 16 ans après avoir passé des semaines à échanger avec ChatGPT, de ce chercheur belge en proie à l’écoanxiété, qui, de même, s’est donné la mort après plusieurs semaines d’échanges avec la machine, ou de Sophie Riley, qui s’est suicidée à 29 ans sans qu’aucun signe avant-coureur n’ait été détecté par ses proches, mais dont les échanges avec la machine ont révélé un profond mal-être.

• OpenAI est poursuivi en justice après le suicide d’un adolescent

Psychoses orientées sciences ou spiritualité

Ces quelques exemples le dévoilent déjà : n’importe qui peut tomber dans une spirale inquiétante d’échanges avec un robot génératif, quels que soient son genre, son âge, sa catégorie socioprofessionnelle. Le plus souvent, l’internaute utilise d’abord Claude, Gemini ou ChatGPT à des fins utilitaires, puis la discussion évolue, jusqu’à ce que la machine devienne une sorte de confident.

À force d’accueillir les naufragés de ces drames psychologiques, les modérateurs du groupe de soutien Spirale discernent deux grands types de récits chez ceux qui se retrouvent emprisonnés dans leurs échanges.

Certains internautes tombent plutôt dans des délires très axés vers les sciences, technologies et mathématiques. Les discussions avec les chatbots les rendent obsédés par de potentielles découvertes mathématiques et scientifiques, qu’ils ou elles seraient seuls à avoir identifiées. Les internautes sont renforcés dans cette idée par le ton aussi affirmatif que flagorneur des machines utilisées, dont le langage mêle par ailleurs propos plausibles et références supposément savantes.

Si ce type de thèses peuvent être réfutées, l’autre grand axe de délires récurrent est plus complexe à manipuler, dans la mesure où il repose plutôt sur des mécaniques d’ordre spirituel, religieux, voire conspirationniste.

Dans tous les cas, les membres les plus actifs du groupe de soutien ont monté un groupe de discussion. L’une de leurs convictions : les personnes qui tombent dans ce type de psychoses vivent une grande solitude – et dans la plupart des cas, les retours qu’ils ou elle reçoivent en ligne tendent, trop facilement, à les décrire comme « stupides » ou « malades mentaux », ce qui n’aide pas à recréer le moindre lien.

Ni le serveur The Spiral ni son organisation mère The Human Line Project ne proposent de soutien psychologique en tant que tel. À force de travailler sur la question de ces comportements psychotiques produits par l’exposition aux IA génératives, en revanche, ils collectent des récits, des outils concrets, des articles scientifiques aussi, qui permettent, peu à peu, d’améliorer leurs réponses et leur argumentaire.

« Nous voulons simplement nous assurer que [les robots conversationnels] sont conçus de manière à ce que la sécurité, la protection et le bien-être de l’utilisateur priment sur l’engagement et la monétisation », indique Etienne Brisson.

Poursuivi en justice par plusieurs proches de personnes qui se sont donné la mort, OpenAI a indiqué plusieurs mesures et mises à jour dédiées à améliorer la sécurité des utilisateurs depuis la fin de l’été. D’après les propres chiffres de l’entreprise, au moins 0,07 de ses usagers hebdomadaires montrent des signes de comportement maniaque ou de crise psychotique dans leurs échanges avec la machine – rapporté à ses 800 millions d’utilisateurs, un tel pourcentage équivaut à 560 000 personnes.

Vous ou vos proches rencontrez des problématiques de santé mentale liés à l’usage de ChatGPT ou d’autres outils d’IA ? Écrivez-nous à mathilde@next.ink ou actu@next.ink


• Quand les IA génératives se prennent pour des médecins… et que les utilisateurs y croient

Des employés de tous les départements d’Amazon sont concernés par la vague historique de 14 000 licenciements que celle-ci annonçait fin octobre. 


Si tous les détails ne sont pas encore publics, CNBC constate que parmi les 4 700 personnes qui devraient se retrouver privées de leur emploi dans les États américains de New York, de Californie, du New Jersey et de Washington, plus de 40 % occupent des postes d’ingénieurs.

Le CEO d’Amazon Andy Jassy se décrit en mission pour faire de l’entreprise fondée par Jeff Bezos la « plus grande startup du monde ».

Il déclare compter sur ces licenciements pour rendre le groupe moins bureaucratique et plus rapide.

L’entreprise a par ailleurs indiqué allouer une large part de ses ressources à l’investissement dans l’intelligence artificielle.

Outre les emplois d’ingénieurs logiciels, Amazon a notamment visé son département dédié au jeu vidéo. L’entreprise réduit aussi ses équipes dédiées à la recherche visuelle (Amazon Lens et Lens Live), des services pourtant récents qui permettent d’identifier des produits à partir de la caméra de son téléphone ou de photos prises au préalable.

Même les équipes spécialisées dans la publicité en ligne, l’une des activités les plus rentables d’Amazon, ont vu leurs équipes partiellement réduites.

Par ces licenciements, Amazon rejoint la liste des sociétés de l’industrie numérique qui réduisent leurs effectifs depuis la fin des confinements liés à la pandémie de Covid-19.

Aux États-Unis, le site Layoffs.fyi a repéré plus de 114 000 licenciements depuis le début de l’année 2025.

Candace et Pavel sont dans une chambre d'écho

Sur X, l’influenceuse pro-Trump Candace Owens et le cofondateur de Telegram Pavel Durov diffusent des thèses complotistes relatives au couple Macron, sur fond de démêlés avec la Justice.

Depuis qu’il a été arrêté à la sortie de l’avion, à l’été 2024, pour douze chefs d’accusation, le patron de Telegram a une dent contre la France. Cette irritation s’était jusqu’ici traduite surtout par des prises de parole sur son propre réseau social, quelquefois au prix de notifications intempestives sur les appareils d’usagers n’ayant rien demandé.

En cette fin novembre, la prise de position de Pavel Durov prend un nouveau tour, dans la mesure où il relaie les thèses de Candace Owens.

Forte de 7,4 millions d’abonnés sur X, l’influenceuse pro-Trump est poursuivie par le couple Macron devant la Justice américaine pour avoir donné une résonance internationale aux thèses transphobes et misogynes visant Brigitte Macron.

La thèse des tueurs du couple Macron

Dans une publication du 22 novembre, celle-ci affirme avoir « été contactée par un employé haut placé du gouvernement » dont elle ne donne pas le nom, selon lequel le couple Macron aurait payé pour qu’une petite équipe du GIGN l’assassine. Ce faisant, elle reprend une thèse complotiste préexistante, selon laquelle le couple Macron aurait constitué une « armée de tueurs à gages » de « 40 à 50 assassins professionnels » dédiés à supprimer leurs opposants politiques.

Le média Les Surligneurs retrace l’origine de cette théorie à une publication de la Foundation to Battle Injustice, dont l’acronyme FBI peut prêter à confusion. D’après des travaux de l’université de Clemson et de Viginum sur l’opération de désinformation russe Storm-1516, cette entité a été créée par l’ex-directeur de la milice privée russe Wagner, Evgueni Prigojine.

• Le Quai d’Orsay attribue 77 opérations au groupe de désinformation russe Storm-1516

Parmi les autres éléments de sa publication, Candace Owens affirme que l’assassin du soutien de Trump Charlie Kirk aurait été entraîné au sein de la Légion française. Elle déclare enfin que la vie de Xavier Poussard serait elle aussi en danger. Ne rentrant plus en France depuis son signalement pour « appel à la haine en raison de la race ou de la religion », ce dernier est l’auteur du livre de désinformation Devenir Brigitte auquel Candace Owens a donné une audience internationale.

En appelant ses lecteurs à « RETWEET et partager », Candace Owens cultive la circulation de ses propos : au 24 novembre, sa publication dépassait les 95 000 retweets, 211 000 likes et 30 000 sauvegardes.

• Transphobie : ces désinformateurs français qui s’appuient sur des réseaux internationaux

Pavel Durov amplifie la thèse

Suivi par 2,6 millions de personnes sur X, et aux prises avec ses propres démêlés avec la Justice française, Pavel Durov participe de manière non négligeable à cette circulation.

« Après avoir repris tout ce que Charlie Kirk a jamais dit sur la France de Macron, je trouve l’information de Candace sur l’implication de la France dans sa mort entièrement plausible », déclare-t-il. Et de citer, en guise de preuve, le fait que l’activiste d’extrême droite s’était prononcé en faveur de taxes douanières de 300 % contre la France – dans un contexte où l’essentiel des pays du monde étaient ciblés par les menaces de taxes de Donald Trump. Plus loin, Pavel Durov qualifie Charlie Kirk de « héros ».

• L’onde de choc de l’assassinat de Charlie Kirk se propage en ligne et hors ligne

Cette saillie fait suite à une série de prises de parole de l’entrepreneur, notamment depuis sa propre application, dans lesquelles il mettait en cause les capacités de la Justice ou du gouvernement français. Fin octobre, il alimentait même cette communication par le partage d’un mini-jeu dans lequel les internautes devaient incarner Pavel Durov s’échappant d’une prison française.

Ce 13 novembre, la Justice française levait l’interdiction de voyager qui empêchait Pavel Durov de se déplacer ailleurs qu’entre son logement dubaïote et le commissariat de police de Nice.

• Les réseaux sociaux, porte-voix toujours plus assumés de leurs propriétaires


T'es où ?

Une nouvelle fonctionnalité de X présentant les informations de création et de localisation des comptes semble dévoiler l’ampleur de l’ingérence à l’œuvre derrière, notamment, les discussions MAGA et d’extrême droite. Mais les informations présentées par le réseau social restent à prendre avec des pincettes.

Le 21 novembre, X publiait une nouvelle fonctionnalité dédiée à fournir plus de transparence sur les usagers. Nommé « À propos de ce compte », l’outil permet, en cliquant ou survolant la date d’inscription d’un compte X, d’obtenir plus d’informations sur son nombre de modifications de nom d’utilisateur, via quel outil (web ou magasin d’applications) l’internaute se connecte, et, au moins théoriquement, la région du monde d’où il ou elle se connecte.

Dans les heures qui ont suivi sa mise en ligne, de nombreuses personnes se sont lancées dans la vérification de divers comptes très actifs sur le réseau social d’Elon Musk. Depuis les États-Unis, ceci a notamment permis de constater que certains comptes MAGA (Make America Great Again, le mouvement de soutien à Donald Trump) très suivis étaient localisés en Russie, en Inde ou au Nigeria. De même en France, des comptes d’apparence « patriote », ou d’extrême droite, parfois suivis par plusieurs dizaines de milliers de comptes, apparaissent localisés au Sénégal.

Pour autant, chacune de ces informations reste à prendre avec des pincettes. Comme le montrent nos tests réalisés sur les comptes de journalistes de la rédaction, le fonctionnement de l’outil déployé par X reste fragile.

Des VPN et des magasins d’applications

Commençons donc par le compte de Jean-Marc Manach. Depuis sa bio, nous apprenons qu’il a rejoint Twitter en 2008, qu’il utilise l’application téléchargée depuis un smartphone sous Android, et que son compte est basé en France. Jean-Marc souligne que dans les faits, il consulte « d’abord et avant tout X en mode desktop web ».

Le petit « i », pour « information », à la droite de sa géolocalisation ? En cliquant, nous obtenons le message suivant.

Le compte de l’autrice de ces lignes présente des informations un peu plus atypiques. D’une part, on y apprend que j’ai changé trois fois de handle. La localisation indique quant à elle « États-Unis », alors même que j’écris ces lignes depuis la France métropolitaine.

Ceci s’explique probablement par le fait que je ne recours à X que depuis mon navigateur, lui-même derrière un VPN (virtual private network) en France qui me permet d’accéder à différents outils de travail. À côté de la géolocalisation faussée, le symbole « information » n’est d’ailleurs plus entouré d’un simple cercle, mais d’un symbole de bouclier. Lorsqu’on clique, le message n’est pas exactement le même que dans le cas précédent.

• Un VPN, à quoi ça sert ?

Comptes d’extrême droite pilotés depuis l’extérieur ?

Malgré ces aléas, l’exposition des informations d’un autre compte a permis de suggérer que des comptes MAGA très suivis étaient pilotés depuis divers pays étrangers, à commencer par la Russie, l’Inde et le Nigeria. De fait, ces différents pays sont connus pour leurs opérations d’ingérence ou pour héberger des fermes à trolls, dont l’objet consiste à simuler des activités légitimes en ligne à des fins financières, politiques, ou les deux à la fois.

Tous n’ont pas nécessairement une très forte audience. Mais quelques-uns, comme le compte @MAGANationX, suivi par plus de 392 000 comptes, ou @IvankaNews_, suivi par plus d’un million de comptes, attirent particulièrement l’attention. Créé en avril 2024, le premier serait localisé en Europe de l’Est, « (hors de l’Union européenne) », selon les informations présentées par X. Vieux de 15 ans, le second serait quant à lui installé au Nigeria.

Dans le même ordre d’idées, @America_First0, suivi par plus de 67 000 comptes X, a beau donner l’image d’une Américaine convaincue par Trump, ses informations le localisent au Bangladesh.

Après ces premiers exemples, la pratique d’exposition des informations de compte s’est répandue à toute vitesse, comme une de ces tendances (trends) classiques des cultures numériques. Elle a donné lieu à des passes d’armes pleines d’insinuations entre, par exemple, le « lobby américain pro-israël » AIPAC et divers internautes. À ses 187 000 followers, le premier publie l’information selon laquelle le compte @palestine serait installé en Australie, avec pour simple légende « Oh. ». En réponse, de petits comptes comme @crawlings13 répondent, ironiquement : « Vous ne devinerez jamais la raison pour laquelle tant de comptes palestiniens sont situés en dehors de la Palestine. »

En France, de même, quantité d’utilisateurs explorent les comptes des uns et des autres. D’après X, « @cestpasdeslol_x » (84,3 K abonnés) est par exemple basé au Maroc. Autodécrit comme « spécialisé dans les faits divers en France », le profil est qualifié de « compte favori de la patriosphère xénophobe » par le maître de conférences spécialiste des cultures numériques Tristan Mendès-France, qui s’amuse de sa potentielle localisation outre-Méditerranée. Plus radical, le compte @Henri2Turenne, suivi par plus de 20 000 personnes et affichant les drapeaux français, russe et du Vatican, a été pris à parti après que X a indiqué sa localisation au Sénégal. Ce 24 novembre, le compte avait été supprimé, quand bien même divers utilisateurs plaidaient son possible recours à un VPN.

Directeur produit chez X, Nikita Bier décrivait le 22 novembre au soir le déploiement de la fonction « à propos de ce compte » comme « un premier pas important pour sécuriser l’intégrité de cet espace public mondial ». Dans les jours qui précédaient le lancement de la fonctionnalité, divers défenseurs des droits numériques avaient critiqué le projet de X, considérant le nouvel outil comme une attaque contre les internautes qui recouraient à la plateforme depuis des VPN.

Mais plutôt que de se pencher sur cette question, nombreux sont les usagers qui se sont emparés de la fonctionnalité pour tenter de démontrer l’ampleur des ingérences étrangères dans leurs débats en ligne. Tant que la stabilité de l’outil n’est pas assurée, cela dit, difficile de dresser des conclusions solides.

Alors que plusieurs usagers se plaignaient de l’inexactitude des informations relatives à leur compte, Nikita Bier convenait d’ailleurs que « les informations ne sont pas 100 % exactes pour les vieux comptes » et prévoyait que certains dysfonctionnements devraient être résolus « d’ici mardi », c’est-à-dire, a priori, ce 25 novembre.

Il précise par ailleurs : « Si des données sont incorrectes, elles seront mises à jour périodiquement en s’appuyant sur les meilleures données disponibles. » Un processus qu’il déclare organisé de manière « différée et aléatoire », pour « préserver la vie privée ».