Tres preguntas que ninguna institución pública ni ninguna empresa debería saltarse antes de comprar, desarrollar o poner en operación un modelo de IA.

Hay una idea cómoda que circula en juntas de gobierno y en comités de dirección: que la inteligencia artificial es una decisión de compra. Se elige un proveedor, se define un presupuesto, se instala, se capacita a un par de personas y el sistema empieza a funcionar.

Cuando el modelo se desarrolla o se entrena en casa, la idea cómoda es otra, y es igual de riesgosa: que se trata de un proyecto del área de desarrollo. La conversación ocurre entre quienes programan, y quedan fuera las áreas que conocen el negocio o la política pública, quienes operan el proceso día con día, quienes atienden a las personas usuarias, el área jurídica y quienes tendrían que revisar las implicaciones éticas de lo que el sistema va a decidir. Se construye una herramienta técnicamente correcta que responde preguntas que nadie validó y aplica criterios que nadie discutió.

En los dos escenarios el problema de fondo es el mismo: un modelo no sabe nada que la organización no le haya enseñado. Aprende de los registros que ya existen, de los formatos que se llenan todos los días, de los historiales que alguien capturó en algún momento y de los criterios que nadie escribió pero todo el mundo aplica. Si esa materia prima está incompleta, desactualizada o refleja solo a una parte de la población atendida, el modelo no avisa. Responde igual, con la misma velocidad y la misma seguridad.

Por eso, antes de comprar o desarrollar un modelo, hay tres preguntas que no se responden con tecnología. Se responden revisando cómo trabaja la organización: ¿qué información produce?, ¿quién la captura?, ¿qué procesos la usan? y ¿quién decide sobre ella?

Primera pregunta: ¿de dónde aprende el modelo?

Todo modelo aprende de algo. En un gobierno, ese algo suele ser el padrón de un programa, el historial de trámites, las fichas que levanta el personal en campo o los registros que cada área guarda a su manera.

En una empresa de manufactura mediana, ese algo son las órdenes de producción, el historial de ventas por cliente y por temporada, los movimientos de inventario y materia prima, los tiempos de paro de las líneas, los registros de mantenimiento de las máquinas, las devoluciones y quejas de clientes, los tiempos de entrega de cada proveedor. Información que se produce todos los días y que casi siempre vive repartida entre el sistema administrativo, las hojas de cálculo de cada área y la libreta de quien lleva el piso.

Las preguntas que casi nunca se hacen antes de entrenar un modelo con esa información son las más simples. ¿Qué tan reciente es? ¿Cubre a toda la población o a toda la operación, o solo la parte que ya estaba sistematizada? ¿Quién la capturó, con qué criterio y cuánta capacitación tenía en ese momento? ¿Dos áreas registran lo mismo con nombres distintos? ¿Los meses atípicos siguen ahí, mezclados, sin que nadie los haya marcado como excepción? ¿Alguien revisa periódicamente si sigue siendo verdad?

Cuando la respuesta a varias de estas preguntas es “no lo sé”, la organización todavía no está en condiciones de entrenar un modelo con esa información, ni de conectarla a un sistema que ya viene entrenado. No hablamos solo de automatizar tareas: un modelo hace proyecciones, clasifica, prioriza, recomienda y responde a nombre de la organización. Todo eso lo hace a partir de lo que la organización le mostró. Y eso no se resuelve comprando mejor tecnología.

Segunda pregunta: ¿quién responde por lo que el modelo decide?

Un sistema no responde por sus resultados. Responde la institución o la empresa que lo instaló.

En 2024, un tribunal canadiense resolvió un caso que conviene tener presente. Una persona compró un boleto de avión confiando en lo que le dijo el asistente automatizado del sitio de la aerolínea sobre una tarifa por fallecimiento. La política era otra: el asistente la había inventado. La aerolínea argumentó en su defensa que el asistente era una entidad legal independiente, responsable de sus propias acciones. El tribunal rechazó el argumento y resolvió que la empresa responde por toda la información de su sitio, sin importar si proviene de una página estática o de un chatbot.

El precedente es claro: un sistema automatizado no es un tercero, es una extensión de quien lo opera.

Y hay un segundo nivel de responsabilidad que ya es exigible en México. La Ley Federal de Protección de Datos Personales en Posesión de los Particulares reconoce a cada persona el derecho de oponerse cuando sus datos son objeto de tratamiento automatizado sin intervención humana, en particular si ese tratamiento evalúa aspectos como su desempeño, su salud, su fiabilidad o su comportamiento, y produce efectos que afectan sus derechos. Dicho de otro modo: que una persona pueda intervenir antes de que una decisión automatizada surta efecto dejó de ser una buena práctica y pasó a ser un derecho que alguien puede reclamar.

Tercera pregunta: ¿qué pasa cuando el modelo se equivoca?

Aquí es donde casi todos los proyectos se rompen, y es la pregunta que más se olvida, porque no se responde con el sistema sino con el servicio.

El caso más ilustrativo de la región lo documentó Salud Con Lupa en Perú, en su investigación sobre el programa de pensiones para personas adultas mayores. El sistema que decide quién accede cruza registros, levanta fichas en las viviendas y calcula un puntaje. Cuando el puntaje no encaja, excluye.

Las personas se enteraban de la exclusión en la ventanilla del banco, con una sola frase: “No hay depósito. Averigüe su situación.” Nadie las llamó, nadie les explicó. La Contraloría documentó bajas basadas en reportes de fallecimiento no verificados, algunos provenientes de rumores, en los que la carga de demostrar que seguían vivas recayó sobre las propias personas. Entre 2020 y junio de 2025, más de 81 mil personas mayores fueron excluidas y después reincorporadas, muchas tras un proceso de reclamo largo y confuso.

Ese último número es el más revelador de todos: si fueron reincorporadas, es que nunca debieron salir.

Y el diagnóstico del equipo periodístico apunta justo a donde apuntamos nosotros: el sistema falla no solo por falta de datos, sino por una recolección deficiente y por la falta de una mirada entrenada y capacitada en el personal de las unidades locales de empadronamiento y las unidades territoriales.

La calidad de la información no se decide en el sistema. Se decide en el momento de la captura, en la ventanilla, en la visita domiciliaria, en la llamada de atención ciudadana. Quien levanta una ficha en campo está tomando decisiones sobre datos, aunque nadie se lo haya dicho nunca.

Lo que debe saber el equipo, no solo el área de sistemas

Un modelo en operación necesita personas atentas a cosas muy concretas. Estas son las señales que un equipo a cargo debería poder responder en cualquier momento:

• Representatividad. ¿La información con la que aprende el sistema incluye a toda la población que atendemos, o solo a quienes ya estaban registrados?
• Explicabilidad. ¿Alguien puede explicar una decisión sin decir “así salió del sistema”?
• Intervención humana. ¿En qué casos una persona revisa antes de que la decisión surta efecto?
• Derechos de las personas. ¿Quién atiende una solicitud de acceso, rectificación, cancelación u oposición, y en cuánto tiempo?
• Ruta de reclamo. ¿Cómo se entera una persona de que fue afectada, y qué tiene que hacer para que alguien revise su caso?
• Revisión periódica. ¿Quién verifica si el sistema empezó a fallar con algún grupo en particular?
• Captura en campo. ¿El personal operativo sabe qué mide cada pregunta que hace y a quién avisar cuando lo que observa no coincide con lo que puede registrar?

Cada una de estas señales corresponde a una persona con nombre y a un procedimiento escrito. Ninguna se resuelve con presupuesto de tecnología.

Lo que va antes

En el caso peruano hay un detalle final que resume el problema de toda la región. Con ese sistema operando así, se aprobó un crédito de 55 millones de dólares para modernizar el registro que lo alimenta, con tecnologías digitales, análisis de datos e incluso herramientas basadas en inteligencia artificial.

Inversión tecnológica sobre un problema que está en la captura, en el equipo y en el proceso de atención.

Ese es el punto de esta conversación, y aplica igual en un gobierno estatal que en una empresa mediana. La diferencia está en el costo del error: en el sector público, una decisión automatizada equivocada puede dejar a una persona sin su único ingreso; en el sector privado, puede dirigir una inversión completa hacia donde no había mercado.

En ambos casos el origen es el mismo. Tres infraestructuras que deben estar alineadas antes de que llegue el modelo: las personas y lo que saben hacer, la información y su estado real, y la tecnología que va a operar sobre ambas. Alinearlas es un trabajo de gobernanza, y es lo que hacemos antes de que la inteligencia artificial entre en operación.

Si su institución o su empresa está por instalar, contratar o desarrollar un sistema con IA, vale la pena responder estas tres preguntas antes de firmar.

Agende una sesión de diagnóstico sin costo: https://calendar.app.google/hWxySFnXPsC3ELYU8