Incompletitud de GödeI: limitaciones y uso responsable de la IA

Si bien la IA es útil en muchas áreas, es fundamental que el juicio humano juegue un papel central en la interpretación y aplicación de sus respuestas. Solo así podemos asegurarnos de que la tecnología sirva a la sociedad de manera ética y efectiva.

Imagina que tienes en tus manos un juego de mesa, que viene con un manual donde detalla las reglas necesarias para jugarlo. Estas reglas determinan qué puedes y qué no puedes hacer dentro del juego: cómo ganar o perder puntos, cómo decidir si cierto personaje avanza o en qué condiciones se puede atacar a un adversario. Un sistema formal es algo similar, pero aplicado al mundo de la lógica y la teoría de conjuntos, fundamentales para todo lo que depende de la matemática. Es decir, un sistema formal es un conjunto de reglas y símbolos que utilizamos para construir afirmaciones y resolver problemas de manera organizada y predecible.

Sin embargo, los sistemas formales pueden volverse muy complicados en la realidad: pueden tener un número infinito de reglas o axiomas, y pueden ser consistentes (lo que significa que no permiten contradicciones entre sus afirmaciones). Estos sistemas también pueden utilizarse para hacer cálculos aritméticos, y aquí es donde las cosas se vuelven más interesantes. Kurt Gödel, matemático y filósofo austriaco, demostró en 1931 que cualquier sistema formal lo suficientemente complejo como para modelar aritmética tendrá preguntas que no se podrán responder usando solo las reglas del mismo sistema. Este es el famoso Primer Teorema de Incompletitud. Además, si un sistema formal es consistente, Gödel también mostró que no es posible demostrar esa consistencia desde dentro del mismo sistema (Segundo Teorema de Incompletitud).

Aunque estas ideas son abstractas, se pueden entender mejor con un ejemplo. Si pensamos en un sistema formal como el mapa de un territorio, Gödel nos dice que no puedes conocer el territorio a cabalidad usando solo ese mapa. Por ejemplo, no sería posible responder a la pregunta: ¿existen ríos subterráneos dentro del territorio? Además, si el mapa representa a la perfección un territorio sin omisiones o contradicciones, Gödel también dice que no se puede usar únicamente el mapa para verificar que este es preciso en su representación territorial.

Estas limitaciones en los sistemas formales tienen implicaciones directas en la inteligencia artificial (IA), que está basada en sistemas como los estudiados por Gödel. En el aprendizaje automático, la IA utiliza algoritmos que siguen las reglas de sistemas formales para aprender de los datos y tomar decisiones. Sin embargo, debido a las limitaciones que señala Gödel, estas IAs no pueden responder todas las preguntas posibles ni anticipar o manejar situaciones que no han sido previamente codificadas en sus algoritmos. Esto puede generar errores o resultados inesperados en aplicaciones críticas como la medicina, la conducción autónoma o la gestión financiera.

Adicionalmente, es importante entender que la consistencia de los sistemas que sustentan a la IA no necesariamente garantiza que sus respuestas sean confiables. Un sistema puede ser internamente consistente y, aun así, ofrecer respuestas que no sean útiles desde una perspectiva humana. La confiabilidad de una IA depende tanto de la consistencia lógica de sus algoritmos como de la calidad de los datos con los que ha sido entrenada. Sin embargo, si un sistema no es consistente, no se puede confiar en sus respuestas en ninguna circunstancia.

De este modo, las limitaciones de los sistemas formales más complejos también imponen límites a la inteligencia artificial. Por más actualizaciones que reciba una IA, siempre existirán preguntas que no podrá responder. Sabemos también que la IA no será capaz de verificar si es un ente confiable o no, ya que no puede verificar su propia consistencia.