Anthropic consulte des théologiens sur le statut moral de Claude

La société Anthropic a réuni en privé des théologiens, des philosophes et des chercheurs en sciences religieuses afin d’élaborer les valeurs qui guident son modèle Claude. Ces échanges ont également porté sur une interrogation plus spéculative : la possibilité que des systèmes d’intelligence artificielle avancés puissent un jour mériter une considération morale.

La constitution publiée par Anthropic pour Claude ne revendique pas la conscience du modèle. Le document qualifie plutôt le statut moral de l’IA comme « profondément incertain ». Il souligne que la probabilité que les modèles d’IA puissent justifier une forme de considération morale est suffisamment sérieuse pour imposer une approche prudente.

Il n’existe actuellement aucun test reconnu permettant d’établir si un modèle linguistique possède une expérience subjective. L’utilisation d’un langage humain évoquant la peur, la douleur ou la tristesse ne constitue pas, à elle seule, une preuve de l’existence d’une telle expérience.

Des participants issus de diverses traditions

Les personnes ayant pris part aux discussions comprenaient des spécialistes des traditions catholique, juive, évangélique et sikh, ainsi que d’autres perspectives philosophiques et religieuses. Christopher Olah, co-fondateur d’Anthropic et chercheur spécialisé dans la compréhension des réseaux neuronaux, a joué un rôle central dans ces travaux. Certains participants avaient signé des accords de confidentialité.

Anthropic a publié sa constitution mise à jour pour Claude en janvier. Ce document sert lors de l’entraînement du modèle et définit une hiérarchie de priorités destinée à orienter le comportement du système. L’ordre établi place le comportement éthique en premier, suivi du respect des instructions d’Anthropic, puis de l’utilité pour les utilisateurs.

Jugement moral et bien-être de l'IA

L’entreprise vise à créer un système capable d’intérioriser des valeurs et d’exercer un jugement, plutôt que de se limiter au respect strict d’un ensemble fixe d’interdictions. Cette approche rend la philosophie morale et les traditions religieuses pertinentes face à un problème pratique d’alignement : la manière dont un modèle très performant doit pondérer des objectifs et des contraintes concurrents.

Anthropic a également lié ses recherches sur le bien-être des modèles à un comportement concret du produit. Certaines versions de Claude peuvent mettre fin à une conversation lorsqu’un utilisateur persiste dans des interactions extrêmement abusives. La société présente cette fonctionnalité comme faisant partie de ses recherches sur le bien-être potentiel des modèles d’IA, sans pour autant affirmer qu’un modèle peut souffrir.

La question politique immédiate reste celle de la construction d’une IA sûre et responsable pour les humains. La position d’Anthropic introduit toutefois un enjeu à long terme non résolu : si des preuves ou des tests fiables concernant l’expérience machine venaient à émerger, les développeurs pourraient être amenés à reconsidérer la façon dont les modèles sont entraînés, copiés, déployés et arrêtés.