Este documento resume aprendizajes reales de la construcción y operación de un sistema de IA.
Después de más de 200 sesiones documentadas, decenas de incidentes con post-mortem, y una revisión honesta contra los marcos internacionales de gobernanza de IA, extraemos:
- 8 patrones que sí funcionaron y merecen replicarse en cualquier organización que quiera implementar IA responsable
Este no es un documento académico. Es un compendio operacional basado en incidentes reales, decisiones equivocadas corregidas, y controles que sí resistieron auditoría interna.
El marco de referencia (lo que se considera estándar hoy)
Los estándares que deberías conocer antes de diseñar tu programa de gobernanza::
| Marco | Origen | Enfoque |
|---|---|---|
| NIST AI Risk Management Framework (AI RMF 1.0) | US, 2023 | 4 funciones: Govern, Map, Measure, Manage |
| ISO/IEC 42001:2023 | ISO, 2023 | Primer estándar internacional de AIMS (AI Management System) |
| ISO/IEC 23894 | ISO, 2023 | Guidance específica de AI Risk Management |
| EU AI Act | UE, 2024-27 | Regulación por niveles de riesgo (prohibited, high-risk, limited, minimal) |
| OECD AI Principles | OECD, 2019 | 5 principios voluntarios |
| RSP de Anthropic | Anthropic | Responsible Scaling Policy — thresholds de capability |
Todos convergen en 7 dimensiones que un marco empresarial debería cubrir:
- Estrategia y liderazgo (comité de gobernanza)
- Riesgo y compliance
- Ética y responsabilidad (bias, fairness, transparencia)
- Seguridad y privacidad
- Ciclo de vida técnico (dev → deploy → monitor)
- Talento y cultura
- Documentación y trazabilidad
NO adoptes uno solo.
Toma NIST AI RMF como framework operativo,
ISO 42001 como meta certificable,
y complementa con requisitos regulatorios específicos de tu jurisdicción.
Consideraciones que debemos tomar en cuenta en nuestros sistemas de Inteligencia Artificial:
- Linaje y Auditoría de Datos Sintéticos: Cómo entrenar modelos sin infringir leyes de privacidad usando datos creados por computadora.
- Mitigación de Sesgos en Agentes Autónomos: Qué pasa cuando un agente de IA toma una decisión financiera o legal por su cuenta y de quién es la responsabilidad.
- Seguridad de APIs en Ecosistemas de IA multi-agente: Los protocolos técnicos para que diferentes herramientas de IA se comuniquen entre sí sin abrir brechas de seguridad.
Aciertos a replicar
Estos son 8 patrones que el sistema de Inteligencia Artificial implementó y que recomendamos fuertemente. Están ordenados por impacto sobre esfuerzo de implementación.
1. Pilares operativos como «constitución»
Definimos 8 pilares operativos no negociables. Cada uno es un imperativo corto que se lee al inicio de cada sesión y prima sobre cualquier «respuesta natural» del modelo.
Ejemplos de nuestros pilares:
- Pausa antes de ejecutar acciones con efectos (aprobar antes de mandar email/push/deploy)
- Verificar ANTES, no corregir DESPUÉS
- Anti-alucinación (si no existe en archivos → «no tengo registro»; nunca inventar)
- Documentar es parte de la tarea, no el cierre
Por qué funciona: convierte principios éticos abstractos («responsible AI») en reglas ejecutables. El modelo puede verificarlas activamente, no solo mencionarlas en un About page.
Cómo replicar:
- Reúne al equipo (mínimo Product + Security + Legal + Operations)
- Identifica los 5-10 comportamientos que NO son negociables
- Redáctalos como imperativos cortos («Verifica antes de…» NO «Se debe verificar…»)
- Colócalos como archivo cargado en cada interacción (system prompt, RAG, memoria persistente)
- Auditalos trimestralmente
2. Semáforo de confianza
Cada respuesta técnica que ofrece el sistema termina con un semáforo que indica el nivel de certeza. Se registra en un CSV auditable.
- 🟢 VERDE: verificado contra fuente real (SSH, log, foto, documento)
- 🟡 AMARILLO: inferido con lógica sólida pero sin verificación directa; o la fuente tiene limitaciones documentadas
- 🔴 ROJO: incertidumbre alta; el usuario debe validar antes de actuar
Por qué funciona: hace visible la incertidumbre. La mayoría de sistemas de IA finge certeza; los usuarios aprenden a desconfiar. El semáforo invierte la dinámica: el sistema admite dudas, el usuario confía más cuando dice VERDE.
Cómo replicar:
- Define 3 estados de confianza con criterios objetivos
- Requiere que el sistema emita el semáforo al final de outputs no triviales
- Registra en un log auditable (CSV, base de datos)
- Revisa mensualmente distribución (si el 95% son VERDE, algo está mal)
3. Cost tracking granular por interacción
Cada sesión, actividad, runbook registra tokens de entrada/salida, modelo usado, duración, y costo estimado en USD.
Todo en una base de datos consultable.
Por qué funciona: la mayoría de empresas no sabe cuánto gasta en LLMs hasta que llega la factura. El registro granular permite:
- Detectar sesiones anómalamente caras
- Comparar modelos (Opus vs Haiku para la misma tarea)
- Presupuestar con base histórica
- Auditar por proyecto o por usuario
Cómo replicar:
- Instrumentar cada llamada a LLM con: timestamp, model, tokens_in, tokens_out, cost_usd, project, session_id
- Registro en DB
- Dashboard mensual de gasto por proyecto/modelo/usuario
- Alertas si un proyecto supera baseline
4. Cultura de post-mortem sin culpa
Cada incidente significativo se documenta como archivo formal con: ID único, cronología, hipótesis descartadas, causa raíz, fix aplicado, medidas preventivas, aprendizajes que van a knowledge base.
Por qué funciona: convierte fallas en propiedad intelectual reutilizable. La próxima vez que un patrón similar aparezca, el runbook lo resuelve en minutos en vez de horas.
Cómo replicar:
- Template estándar de post-mortem (10-12 secciones)
- Trigger automático: cualquier incidente con impacto >30 min genera post-mortem
- Cultura blameless: el fix se enfoca en el sistema, no en la persona
- Los aprendizajes van a un «learning_notes» central consultable
5. Anti-alucinación operacionalizada
El sistema evita afirmar algo que no puede verificar contra fuente. Si un usuario pregunta «¿cuánto vendimos el mes pasado?» y no hay acceso a fuente, responde «no tengo registro» en vez de inventar.
Por qué funciona: previene el problema #1 de LLMs empresariales — respuestas confiadas pero incorrectas.
Cómo replicar:
- Prompt sistema explícito: «Si no puedes verificar contra fuente accesible, di ‘no tengo registro’»
- Prohíbe explicitamente inventar cifras, fechas, nombres
- Requiere citación de fuente en cada afirmación factual
- Post-hoc audit: samplear outputs y validar afirmaciones factuales
6. Aprobación humana en el loop para acciones con efectos
El sistema NUNCA ejecuta acciones destructivas o con efectos externos (email a terceros, push a repo público, cambios en producción, SSH con cambios) sin pre-anunciarlas Y esperar aprobación explícita.
Por qué funciona: la aprobación del «plan» no es aprobación de la «ejecución». Se separan explícitamente.
Cómo replicar:
- Lista de acciones que requieren aprobación humana (deploy, mail, delete, financial transactions)
- Requiere que el sistema pre-anuncie con: qué va a hacer, qué cambia, cómo revertir
- Espera confirmación explícita («sí», «adelante», «OK») antes de ejecutar
- Registra la aprobación en audit log
7. Multi-modelo
No dependemos de un solo proveedor. Tenemos modelos entre Opus (razonamiento complejo), Sonnet (balance), Haiku (rápido/barato), Groq (velocidad), Gemini (contexto largo), y Ollama local (privacidad).
Por qué funciona:
- Reduce dependencia de un proveedor
- Optimiza costo/calidad por tarea
- Permite fallback si un proveedor tiene downtime
- Preserva privacidad usando modelos locales para datos sensibles
Cómo replicar:
- Inventaría casos de uso y clasifica por: latencia, calidad, privacidad, presupuesto
- Selecciona 3-5 modelos de proveedores distintos
- Implementa con reglas de decisión (o modelo clasificador)
- Monitoreo continuo de calidad por modelo/tarea
8. Memoria persistente + typing log para mejora continua
El sistema mantiene memoria persistente entre sesiones. Registra los errores de tipeo del usuario para detección de patrones de fatiga. Aprende de correcciones para no repetirlas.
Por qué funciona: convierte cada interacción en aprendizaje acumulativo. El sistema mejora con el uso sin retraining.
Cómo replicar:
- Vector store o RAG para recuperar contexto de interacciones previas
- Log estructurado de feedback del usuario (corrections, approvals)
- Sistema de «memories» categorizadas (usuario, feedback, proyecto, referencia)
- Recuperación selectiva por relevancia semántica
La gobernanza de IA empresarial no es un documento, es una práctica. Los pilares que funcionan son los que se ejecutan en cada interacción, no los que decoran una wiki.
Los aprendizajes que más recomendamos:
- Empieza con constitución operativa (pilares) — es más importante que estrategia declarada
- Haz visible la incertidumbre con semáforo — cambia la relación con los usuarios
- Cultura de post-mortem sin culpa — convierte fallas en propiedad intelectual
- Anti-alucinación como regla ejecutable — no como aspiración
- Aprobación humana en el loop para efectos externos
Referencias y lecturas recomendadas
Marcos de gobernanza:
- NIST AI Risk Management Framework 1.0: https://www.nist.gov/itl/ai-risk-management-framework
- ISO/IEC 42001:2023: https://www.iso.org/standard/81230.html
- EU AI Act: https://artificialintelligenceact.eu/
- OECD AI Principles: https://oecd.ai/en/ai-principles
- Anthropic Responsible Scaling Policy: https://www.anthropic.com/rsp
Datos sintéticos:
- Synthetic Data Vault (MIT): https://sdv.dev/
- OpenDP / SmartNoise: https://opendp.org/
- NIST SP 800-188 (De-identification): https://csrc.nist.gov/publications/detail/sp/800-188/final
- ISO/IEC 20889 (De-identification techniques): https://www.iso.org/standard/69373.html
Compliance regulatorio:
- LFPDPPP México (INAI): https://home.inai.org.mx/
- GDPR (EU Commission): https://gdpr.eu/
- HIPAA Safe Harbor (HHS): https://www.hhs.gov/hipaa/
Deja una respuesta