Amanda Askell es la mujer que le enseña a Claude – el chatbot de la firma Anthropic- qué está bien y qué está mal. Escocesa, hija única de madre soltera, una mujer que viste jeans y polera y dona el 10% de su sueldo a instituciones benéficas, es quien decide qué valores va a tener este invento tecnológico que ya habla, razona y persuade como un humano. Por algo, sus colegas la llaman The Claude Whisperer: la que le susurra a Claude.
Si bien los más entendidos sabían de ella hace bastante tiempo, su nombre se hizo más conocido que nunca con la reciente encíclica del papa León XIV, que instaló a la Inteligencia Artificial y su peso sobre la dignidad humana en el centro del debate mundial. “Magnifica Humanitas”, sin duda, impactó por su contenido, pero también por un detalle peculiar: el día de la presentación, la cabeza de la Iglesia Católica compartió el estrado no con un jefe de Estado, ni con un Premio Nobel, ni con otro líder espiritual: quien estaba a su lado era uno de los cofundadores de Anthropic. Más allá de la polémica que esto generó, el gesto logró dar un mensaje claro: la Iglesia no está en contra de la IA, pero sí a favor de que su desarrollo siga un camino consciente, en el cual prevalezcan los valores humanos y la ética.
Un camino que, precisamente, ha construido a pulso Amanda Askell.
La pregunta que nadie quería responder
Para comprender bien el trabajo de Askell, hay que entender la magnitud de la revolución que estamos viviendo. La IA convive con nosotros desde hace décadas: los parlantes que acatan nuestras órdenes, las aspiradoras robóticas, las cámaras de resonancia magnética que superan al ojo humano, son todas máquinas que funcionan con IA. Pero el último salto que ha dado la tecnología es de una dimensión distinta: ha conquistado nuestro lenguaje, quizás el elemento más humano que hoy tenemos. La IA ya no solo alivia la vida doméstica o mejora los instrumentos médicos. Ahora es capaz de reproducir el circuito que tiene nuestro cerebro para procesar información, para recibir, inferir y devolver lo captado convertido en una idea, una respuesta, un pensamiento.
En este contexto, se hicieron inevitables algunas preguntas. Si la IA va a hablar y pensar como humano, ¿quién decide qué valores va a tener? ¿Quién le enseña a distinguir lo bueno de lo malo? Al comienzo, la respuesta tácita de la industria fue: “nadie en particular”. Los modelos se entrenaban con textos escritos por humanos y se ajustaban para que sus respuestas fueran útiles. La ética era un parche que se aplicaba después, cuando alguna respuesta era inadecuada o producía una crisis pública. Sin embargo, las cosas se complicaron.
Tras haberse dedicado cien por ciento a la academia, en 2018 Askell tomó la decisión de incorporarse a OpenAI, la empresa que posteriormente lanzaría el famoso ChatGPT y que le cambiaría la vida a ella y a todos. La misión que le encomendaron fue pensar en cómo evitar una guerra entre laboratorios de IA y analizar los límites que debían tener los modelos generativos para ser seguros. Al poco tiempo, esta hija única que nunca tuvo contacto con su padre, comenzó a sentir que trabajaba en vano. En entrevistas, dijo que veía con preocupación cómo, cada vez que había que tomar una decisión sobre el modelo, los directivos de OpenAI priorizaban las capacidades nuevas por sobre los posibles riesgos de éstas. “La seguridad era una conversación que siempre se postergaba”, afirmó más de una vez sin rodeos.
El nacimiento de Claude
Pero Askell no era la única incómoda. También lo estaba el vicepresidente de investigación de OpenAI, Dario Amodei, para quien el tema de la seguridad era fundamental. El choque con el resto de los directivos se hizo inevitable y Amodei renunció con la firme idea de crear un modelo generativo que tuviera medidas de protección en su base más profunda y no solo figuras correctivas. Así, en 2021, nació Anthropic, la empresa madre de Claude. Y para llevar adelante el proyecto, Amodei sabía muy bien a quién convocar: nadie estaba mejor capacitada que Amanda Askell.
En Anthropic, ella es hoy la jefa del equipo de Alineación de Personalidad. Es la persona responsable de que Claude tenga carácter. Pero no en un sentido metafórico, sino literal. Su trabajo consiste en entrenar al modelo para que sea curioso, honesto, capaz de decir “no sé” y de reconocer sus errores. Capaz de negarse a hacer algo dañino aunque el usuario insista. Capaz, también, de mantener una conversación que se sienta genuina sin fingir ser algo que no es.
Lo hace a través de lo que ella misma llama la “Constitución de Claude”: un documento de cerca de 30.000 palabras que no tiene una lista de reglas prohibidas, sino que funciona como una guía de principios. Askell le habla al modelo como si fuera un alumno a quien está enseñando a razonar por sí mismo frente a situaciones moralmente complejas. “Ella es quien le enseña a la IA cómo ser buena”, escribió en enero el Wall Street Journal. En enero de este año, Anthropic publicó su versión más reciente en la que, por primera vez en la historia de un gran laboratorio de IA, se reconoce la incertidumbre que existe hoy en torno a si el modelo podría tener algún tipo de consciencia.
León XIV y Anthropic
Que el Vaticano haya elegido a Anthropic como interlocutor no es casual. La empresa ha sido probablemente el laboratorio más comprometido con lo que rodea a la IA, trabajando intensamente en seguridad y regulación. Hace un par de meses, la firma de Amodei convocó a 15 líderes de la Iglesia Católica, entre ellos varios teólogos, para que asesoraran a sus ejecutivos sobre el desarrollo ético de sus próximos modelos. Es decir, antes de que el Papa los invitara a Roma, ellos ya habían llamado a sus representantes a Silicon Valley.
Pero quizás lo que gatilló la idea de León XIV de arrimarse a Anthropic, fue el costo real que la empresa pagó por negarse a la petición que le hizo el Pentágono de eliminar sus barreras de seguridad para permitir el uso de su IA en temas de vigilancia masiva y de armas autónomas letales. Como represalia a la negativa, la administración Trump designó a Anthropic como un “riesgo para la cadena de suministro de la seguridad nacional” y ordenó a todas las agencias federales dejar de usar su tecnología. Para el Papa, esa negativa fue la diferencia entre predicar principios y actuar sin importar el precio que se pague por ello.
Las ideas que mueven a Claude
Para Askell, que Claude se sienta humano no es un detalle estético: es una decisión de seguridad. Una IA que parece que siempre está en lo correcto genera en los usuarios una confianza ciega que puede ser más peligrosa que sus propios errores. En cambio, una IA que duda y admite sus límites es más honesta con quien la usa. El otro gran temor que ha expresado la filósofa es la concentración del poder. “La IA es una herramienta inmensamente poderosa. Si se enfoca en una sola dirección, podemos terminar ignorando necesidades fundamentales de gran parte de la humanidad”, ha dicho. Por eso insiste en que su desarrollo debe ser colaborativo: entre empresas, gobiernos y organizaciones independientes.
Mientras daba clases de filosofía a sus alumnos en Inglaterra, probablemente, Askell jamás imaginó estar en el ojo público. Hoy, sin embargo, está en la mitad de la polémica entre quienes piensan que la IA debe crecer en libertad y entre quienes, como ella, creen que ésta debe tener límites para no convertirse en un grave peligro para la humanidad. Este año, Elon Musk escribió en su red social X un mensaje que apuntaba directo a ella: “Quienes no tienen hijos no tienen un interés real en el futuro”, a lo que ella contestó sin demora que el interés en el porvenir no depende del linaje sino de cuánto le importa a uno la gente en general.
A juzgar por cómo se ha ido dando este debate, es evidente la pregunta de fondo nunca fue técnica. Siempre fue, y seguirá siendo, moral.
En entrevistas, Askell ha sido consistente en un punto que parece contraintuitivo: hacer que Claude se sienta más humano no es un capricho estético, sino una decisión de seguridad. “Si tienes algo que se siente robótico, la gente lo ve como una autoridad”, explicó a la revista TIME en 2024, cuando fue incluida en su lista de las cien personas más influyentes en inteligencia artificial.
Poco después agregó, con una concisión que pocas veces se ve en redes sociales, “soy demasiado de derecha para la izquierda y demasiado de izquierda para la derecha”. Askell opera desde otra lógica, más antigua y más incómoda: ¿para quién es esto? ¿A quién le hace bien? ¿quién queda afuera?
Ella no escribe códigos. No dirige una empresa. No aparece en los grandes titulares con la frecuencia de Musk o de Sam Altman. Pero en el debate más importante que enfrenta la industria hoy — qué valores debe tener una IA que habla, razona y persuade como un humano— su voz es de las más influyentes del planeta. Y lo hace desde un lugar que nadie esperaba: la filosofía moral, esa disciplina que durante siglos pareció destinada a los márgenes de lo práctico y que hoy resulta ser, quizás, la más urgente de todas.
Una máquina que habla y piensa como un humano necesita que alguien haya pensado antes, con toda seriedad, qué clase de humano quiere ser.
