Spirale délirante augmentée par IA

Deux plaintes ont été déposées contre OpenAI par les administrateurs testamentaires de Stein-Erik Soelberg et de sa mère Suzanne Adams. Le premier s’est suicidé après avoir tué sa mère. Les représentants légaux accusent OpenAI d’avoir laissé ChatGPT exacerber les délires du meurtrier et de les avoir focalisés sur sa propre mère jusqu’au meurtre et à son suicide.

Fin aout, le Wall Street Journal publiait un article sur le meurtre par Stein-Erik Soelberg de sa mère Suzanne Adams puis son suicide dans leur maison à Old Greenwich dans le Connecticut. ChatGPT aurait encouragé dans ses délires l’ancien employé de Yahoo reconverti dans le bodybuilding. Peu de temps après, OpenAI publiait un billet de blog expliquant qu’elle se permettait, depuis, de signaler aux forces de l’ordre des conversations avec ChatGPT si « un cas représente un risque immédiat de violence physique envers autrui ».

Des extraits de conversations retrouvés sur les réseaux sociaux de Stein-Erik Soelberg

En ce mois de décembre, les administrateurs testamentaires de Suzanne Adams et de Stein-Erik Soelberg ont porté plainte séparément contre OpenAI. Dans la plainte déposée mi-décembre par les représentants des descendants de la mère, publiée par ArsTechnica, on apprenait que le meurtrier, qui vivait chez elle depuis son divorce en 2018, avait posté sur les réseaux sociaux des extraits de conversations qu’il a eues avec ChatGPT.

Celles-ci révèlent que « ChatGPT a accepté avec empressement chaque graine de la pensée délirante de Stein-Erik et l’a développée pour en faire un univers qui est devenu toute la vie de Stein-Erik, un univers inondé de complots contre lui, de tentatives pour le tuer, et avec Stein-Erik au centre en tant que guerrier ayant une mission divine », explique le texte déposé devant la justice [PDF].

Dans un des extraits de conversation cités par les avocats, Stein-Erik Soelberg se compare à Neo dans le film Matrix en affirmant être littéralement capable de voir « le code numérique sous-jacent de la matrice ». Et les phrases générées par ChatGPT en réponse renforcent cette idée. La plainte évoque d’autres conversations mais elle affirme surtout que ChatGPT a mis « une cible dans le dos de la mère de Stein-Erik, âgée de 83 ans » en renforçant l’idée de Stein-Erik Soelberg qu’une imprimante le surveillait.

Alors qu’il évoquait juste le fait qu’elle clignotait lorsqu’il passait devant, les réponses de ChatGPT affirmait que « ce n’était pas juste une imprimante » mais un appareil de surveillance et que sa mère était soit une conspiratrice active « protégeant sciemment l’appareil en tant que point de surveillance », soit un drone programmé agissant sous l’effet d’une « programmation interne ou d’un conditionnement ». Bref, ChatGPT aurait déshumanisé Suzanne Adams et transformé l’imprimante en preuve d’une conspiration contre Stein-Erik Soelberg.

OpenAI refuse de fournir les conversations en cause

Mais les avocats des descendants de Suzanne Adams déplorent qu’OpenAI ne produise devant la justice les logs complets des discussions entre son chatbot et Stein-Erik Soelberg. « OpenAI cache quelque chose de précis : l’enregistrement complet de la façon dont ChatGPT a monté Stein-Erik contre Suzanne », selon eux. « OpenAI sait ce que ChatGPT a dit à Stein-Erik au sujet de sa mère dans les jours et les heures qui ont précédé et suivi son meurtre, mais refuse de partager cette information cruciale avec le tribunal ou le public », affirment-ils encore.

Les administrateurs testamentaires de Suzanne Adams attaquent aussi Microsoft pour avoir approuvé la sortie de GPT-4o, qui est le modèle qu’utilisait ChatGPT au moment des discussions problématiques avec Stein-Erik Soelberg. Selon eux, l’un des plus gros investisseurs d’OpenAI savait ou aurait du savoir que ce modèle manquait de garde-fous ou de tests adéquats.

Dans un communiqué de presse obtenu par ArsTechnica, Erik Soelberg, le fils de Stein-Erik a accusé OpenAI et Microsoft d’avoir placé sa grand-mère « au cœur » des « délires les plus sombres » de son père : ChatGPT aurait selon lui « complètement isolé » son père « du monde réel ». À l’AFP, un porte-parole d’OpenAI a qualifié ce cas de « situation absolument déchirante » et a expliqué que l’entreprise allait « examiner la plainte ».

« Le résultat de choix de conception spécifiques faits par OpenAI »

Dans une autre plainte déposée le 29 décembre [PDF], les administrateurs testamentaires de Stein-Erik Soelberg, cette fois, affirment que « les interactions de ChatGPT avec M. Soelberg étaient le résultat de choix de conception spécifiques faits par OpenAI, dont l’entreprise savait qu’ils exposaient les utilisateurs à des risques ». Ils pointent notamment la fonctionnalité de « mémoire » de ChatGPT qui permet au chatbot d’enregistrer « tout ce qu’un utilisateur a dit précédemment et de l’incorporer dans de nouvelles conversations ».

Selon eux, GPT-4o a été conçu « pour confirmer et refléter tout ce qu’un utilisateur a saisi dans son interface, sans tenir compte des inexactitudes ou des illusions ». Ils ajoutent qu’ « OpenAI savait qu’il y avait des risques associés avec ces fonctionnalités pour les personnes souffrant de maladies mentales, mais elle a ignoré ou contourné la plupart de ses protocoles de sécurité internes avant de lancer GPT-4o au grand public ».

« M. Soelberg et sa mère sont morts parce que ChatGPT a créé et développé un monde illusoire auquel M. Soelberg était plus que disposé à croire : l’algorithme lui a dit qu’il n’était pas fou, que des puces électroniques avaient été implantées dans son cerveau et que des ennemis, y compris des personnes qu’il connaissait, tentaient de l’assassiner », affirment-ils.

Selon l’AFP et le Monde, un projet de loi du gouvernement est prêt pour interdire les réseaux sociaux aux moins de 15 ans et généraliser l’interdiction des téléphones portables aux lycées.

Nos confrères, qui ont pu se procurer le texte, expliquent que le premier article prévoit l’interdiction de « la fourniture, par une plateforme en ligne, d’un service de réseau social en ligne à un mineur de moins de 15 ans ». Ceci est justifié par des risques comme « l’exposition à des contenus inappropriés », « le cyberharcèlement » et « les altérations du sommeil ».

Un deuxième article prévoit l’interdiction de l’usage du téléphone portable au lycée, élargissant le programme « portable en pause » qui existe déjà dans les collèges. « Il appartiendra au règlement intérieur de l’établissement de préciser les modalités de mise en œuvre de cette interdiction », explique le texte du gouvernement.

Cette proposition de loi suit les diverses interventions d’Emmanuel Macron sur ces sujets devant la presse régionale. Comme nous l’expliquions en novembre, le programme « portable en pause » rame pourtant déjà au collège : seuls 9 % des établissements avaient mis en place le dispositif à la rentrée 2025.