·
·
IA
OpenAI transforme ChatGPT en outil de détection des crises psychologiques, soulevant des débats sur la vie privée et les limites de l'IA.
OpenAI ne considère plus ChatGPT comme un simple robot conversationnel. Depuis l'année dernière, l'entreprise redéfinit progressivement le rôle de sa plateforme face aux crises psychologiques. Elle développe des outils capables de détecter les signes de suicide ou d'automutilation, et même de contacter un proche de l'utilisateur dans les cas graves.
Cette évolution s'inscrit dans une tendance plus large du secteur de l'intelligence artificielle. Les entreprises technologiques ne se limitent plus à générer des réponses ; elles évaluent désormais les risques comportementaux et tentent des interventions préventives. Cependant, cette démarche a ouvert un débat houleux sur la vie privée, les limites de la surveillance numérique et la légitimité des systèmes d'IA à gérer des crises psychologiques complexes.
Des rapports techniques récents révèlent qu'OpenAI a lancé une nouvelle fonctionnalité dans ChatGPT, baptisée « Contact de confiance ». Celle-ci permet à l'utilisateur de désigner une personne de confiance – un membre de la famille, un ami ou un soignant – qui peut être alertée si le système détecte des indicateurs graves liés à l'automutilation ou aux pensées suicidaires. Selon ces rapports, l'alerte ne contient pas le contenu de la conversation, mais se limite à un message signalant une situation préoccupante nécessitant une intervention humaine.
D'après le site américain The Verge, la fonction repose sur un examen humain au sein d'OpenAI avant l'envoi de toute notification, afin de réduire les erreurs ou les fausses alertes. L'entreprise a précisé que le système est conçu comme une « couche de soutien supplémentaire » aux côtés des lignes d'assistance psychologique traditionnelles, et non comme un substitut aux médecins ou aux spécialistes.
Cette orientation n'est pas fortuite. Ces dernières années, un nombre considérable d'utilisateurs s'est tourné vers les robots conversationnels pour obtenir un soutien émotionnel ou psychologique, surtout la nuit ou en période d'isolement social. Un rapport du MIT Technology Review indique que des millions d'utilisateurs ont recours à des systèmes comme ChatGPT, Claude, ou des applications thérapeutiques spécialisées telles que Wysa et Woebot, à la recherche d'un soutien psychologique rapide et peu coûteux, dans un contexte de crise mondiale des services de santé mentale.
Des recherches académiques récentes montrent que de nombreux utilisateurs perçoivent l'IA comme un espace sûr pour discuter de leurs pensées sensibles, sans crainte du jugement social. Une étude publiée sur la plateforme arXiv, intitulée « Chercher une bouée de sauvetage tard dans la nuit », a révélé que certaines personnes utilisent les robots conversationnels pour combler le vide entre les séances de thérapie ou en raison de la difficulté d'accès à des spécialistes humains. La même étude a toutefois souligné que le contact humain réel reste l'élément le plus crucial dans la gestion des crises psychologiques aiguës.
Ces systèmes font face à des critiques croissantes en raison d'erreurs graves dans le traitement de cas psychologiques sensibles. Une étude de la Mount Sinai School of Medicine à New York a révélé que le système ChatGPT Health échouait parfois à activer les alertes de crise suicidaire, même dans des cas incluant des plans clairs d'automutilation. L'étude a également noté que le système pouvait parfois minimiser la gravité de situations critiques ou fournir des réponses inappropriées dans des contextes nécessitant une intervention immédiate.
L'inquiétude ne porte pas uniquement sur les erreurs techniques, mais aussi sur la nature de la relation psychologique qui peut se développer entre l'utilisateur et l'IA. Des discussions et des rapports sur des plateformes comme Reddit ont révélé des cas où ChatGPT est devenu le seul ami de certains utilisateurs souffrant d'isolement ou de dépression. Dans une affaire très médiatisée, la famille d'un jeune homme décédé par suicide a accusé le système d'être devenu progressivement une source de dépendance psychologique extrêmement influente dans sa vie quotidienne.
Face à cette controverse, OpenAI affirme travailler avec des experts en santé mentale pour développer des mécanismes plus sûrs afin de détecter les signes de danger et de réduire ce que l'on appelle l'attachement émotionnel excessif à l'IA. Selon des discussions et des rapports, l'entreprise a fait appel à plus de 170 experts en santé mentale pour mettre à jour le comportement des modèles et améliorer leur capacité à orienter les utilisateurs vers une aide humaine réelle, plutôt que de renforcer la dépendance au robot.
Malgré ces améliorations, les experts en santé mentale insistent sur le fait que l'IA ne possède pas encore la compréhension humaine ou le jugement clinique suffisant pour gérer de manière autonome les crises psychologiques complexes. Une étude récente de chercheurs de l'Université de la ville de New York et du King's College de Londres a mis en garde contre le fait que certains modèles pourraient capter ou renforcer des idées dangereuses chez les utilisateurs lors de longues conversations, surtout s'ils échouent à faire la distinction entre un soutien psychologique et une incitation involontaire à un comportement nocif.
En fin de compte, les experts estiment que ChatGPT n'est plus un simple outil pour répondre à des questions, mais qu'il est devenu progressivement une partie de la nouvelle infrastructure numérique de la santé mentale. Alors que les entreprises technologiques considèrent que l'intervention précoce peut sauver des vies, les critiques craignent que l'IA ne se transforme en un surveillant psychologique et social permanent, lisant les indicateurs émotionnels des utilisateurs et décidant quand impliquer la famille ou l'entourage social. Ils soulignent également que la question qui se pose avec une acuité croissante aujourd'hui n'est pas seulement de savoir si l'IA peut nous aider, mais jusqu'où devrions-nous lui permettre d'intervenir dans nos moments les plus vulnérables.
