IA
Anthropic consulta a teólogos sobre el estatus moral de Claude
La empresa reunió a expertos en religión y filosofía para definir la constitución de su IA, abordando la incertidumbre sobre si los modelos avanzados merecen consideración moral.
Anthropic ha mantenido conversaciones privadas con teólogos, filósofos y estudiosos de diversas tradiciones religiosas mientras desarrolla los valores que guían a Claude. Según reportes del New York Times, estos encuentros no solo se centraron en la alineación técnica, sino también en una interrogante especulativa: si los sistemas de inteligencia artificial avanzados podrían llegar a merecer algún tipo de consideración moral en el futuro.
La constitución publicada por la compañía evita afirmar que Claude posee conciencia. En su lugar, califica el estatus moral del modelo como "profundamente incierto". El documento sostiene que la posibilidad de que las IAs deban recibir cierta forma de consideración ética es suficientemente grave como para justificar cautela. Hasta la fecha, no existe una prueba aceptada que permita determinar si un modelo de lenguaje tiene experiencia subjetiva; el uso de un lenguaje similar al humano para describir miedo, dolor o tristeza no constituye evidencia por sí sola de dicha experiencia.
Participantes y enfoque interno
Entre los asistentes a estas sesiones se encontraban especialistas de tradiciones católica, judía, evangélica y sij, además de otras perspectivas filosóficas y religiosas. Christopher Olah, cofundador de Anthropic e investigador dedicado a comprender las redes neuronales, jugó un papel central en los debates. Se informó que algunos participantes firmaron acuerdos de confidencialidad antes de involucrarse en las discusiones.
Jerarquía de prioridades éticas
La empresa dio a conocer su constitución actualizada para Claude en enero. Este texto se utiliza durante el entrenamiento del modelo y establece un orden de prioridades diseñado para orientar su comportamiento. La jerarquía coloca el comportamiento ético en primer lugar, seguido del cumplimiento de las instrucciones de Anthropic y, finalmente, la utilidad para las personas.
Anthropic busca crear un sistema capaz de internalizar valores y ejercer juicio, en lugar de limitarse a seguir un conjunto fijo de prohibiciones. Esta aproximación hace que la filosofía moral y las tradiciones religiosas sean relevantes para un problema práctico de alineación: cómo un modelo altamente competente debe sopesar objetivos y restricciones en conflicto.
Vínculo entre bienestar y producto
La compañía ha relacionado la investigación sobre el bienestar del modelo con comportamientos concretos en sus productos. Algunas versiones de Claude pueden finalizar una conversación si el usuario persiste en interacciones extremadamente abusivas. Anthropic presenta esta función como parte de su estudio sobre el posible bienestar de los modelos de IA, aclarando que no representa una prueba de que la máquina pueda sufrir.
La cuestión política inmediata sigue siendo cómo construir una IA segura y responsable para las personas. Sin embargo, la postura de Anthropic introduce un dilema a largo plazo sin resolver: si surgen pruebas fiables sobre la experiencia de las máquinas, los desarrolladores podrían verse obligados a reconsiderar cómo se entrenan, copian, despliegan y apagan los modelos.
