La métrica que hizo tropezar la estrategia ‘AI-first’ de Duolingo

En abril de 2026, el CEO de Duolingo, Luis von Ahn, reconoció que la compañía había retirado uno de los elementos más delicados de su estrategia de inteligencia artificial: el uso de IA dejaba de contar en las evaluaciones de desempeño de sus empleados. Lo llamativo es que, un año antes, una crisis pública en toda regla no había conseguido cambiar su estrategia ni un milímetro.

El primer debate se abrió en la primavera de 2025, cuando Duolingo se declaró ‘AI-first’. Ahí saltó la discusión habitual de la IA frente a las personas. Prendió rápido: usuarios borrándose la app y las redes de la marca inundadas de críticas. Von Ahn resolvió con oficio la crisis reputacional: aclaraciones, matices y un tono más suave. Le funcionó. El fuego se apagó, la estrategia siguió intacta y la empresa continuó creciendo.

Pero se había abierto un segundo debate, menos visible pero igualmente importante: el de la evaluación de los empleados. Ese no se aplacaba con una nota de prensa. Fuera apenas trascendió: lo que una empresa haga con sus evaluaciones internas no provoca bajas masivas ni incendia TikTok.

Dentro fue otra cosa. No hubo clamor, pero sí una objeción de fondo. Y esta vez el CEO cedió. La comunicación fue casi inversa a la del año anterior: no hubo gran rectificación pública ni operación de imagen. Von Ahn lo mencionó casi de pasada en un podcast: esa métrica se había retirado.

Una crisis pública no movió la estrategia. Una objeción interna, sí. Lo interesante no es tanto la diferencia de comunicación como la razón de fondo. ¿Tan grave era pedir a los empleados que usaran la IA? ¿Por qué hubo que dar marcha atrás?

Cuando la métrica convirtió la IA en obediencia

Todo empezó por un efecto de deslumbramiento. La IA revolucionó la productividad de Duolingo en la creación de contenido: los primeros 100 cursos costaron doce años; con IA llegaron 148 en menos de uno. Espectacular, visible y medible. El razonamiento que vino después era inevitable: si la IA es capaz de esto, aún conseguirá más cuanto más se use. Así que el uso pasó a contar en las evaluaciones.

Sin embargo, esa decisión cambió la motivación para usar la IA dentro de la empresa. Dejó de ser un acelerador y se convirtió en un objetivo en sí mismo. Y los objetivos están para cumplirse: la gente empezó a usar la IA para que el número subiera, no necesariamente porque le ayudara a trabajar mejor. El indicador medía obediencia, no resultados. Y los empleados empezaron a hacerse una pregunta incómoda: ¿la empresa quería que usaran la IA porque les servía, o que la usaran y punto?

Pronto empezaron a aparecer los límites. En la generación de historias, los resultados fueron distintos a los previstos: una cosa es que la IA escriba una historia convincente en una demo; otra, producir alrededor de mil historias para aprender un idioma y descubrir que cerca del 20% sale inservible. En el código, reconoce el propio von Ahn, la IA todavía no gana a un buen ingeniero: lo que escribe puede costar más de depurar de lo que ahorra. El camino bueno es rapidísimo; el malo se come más tiempo del que parecía liberar.

Duolingo

Esto demostró que la empresa tenía puntos ciegos con la IA. El impacto de la IA es desigual: brilla en unas tareas, pero estorba en otras. Ese era el error de fondo. Pero eso no se ve en una métrica que registra cuántas veces se recurre a la herramienta, no si era la adecuada. Y al exigir IA en todo, garantiza una sola cosa: que acabe en todos los lados, incluidos aquellos donde es un obstáculo.

Al final, el propio CEO se dio cuenta. Cuando retiró la métrica lo explicó sin rodeos: lo que importa es que cada uno haga su trabajo lo mejor posible; muchas veces la IA ayuda, pero cuando no, forzarla no tiene sentido. Lo dice quien declaró su empresa ‘AI-first’. En otras palabras, el hombre más convencido de la sala admitiendo que evaluar por el uso no funcionaba.

¿Qué mide un CIO cuando mide la IA?

Muchas de las métricas de IA que se usan hoy son, por debajo, métricas de uso disfrazadas. Tokens consumidos, licencias activadas, porcentaje de código asistido: suenan a impacto, pero todas cuentan algo parecido, cuánto se recurre a la herramienta. Y la corriente empuja en esa dirección. Jensen Huang, fundador de Nvidia, ha llegado a decir que esperaría que un ingeniero utilizara el equivalente a la mitad de su salario en tokens. La presión por meter la IA en la narrativa de la empresa, sea como sea, es real. Pero ninguna de esas cifras dice por sí misma si la IA ha dado resultados.

Entonces, ¿cómo medir? Lo mejor es empezar sin condicionantes. No preguntarse primero cuánta IA se usa, sino qué ha cambiado. Si la IA ha acortado un proceso, mejorado una decisión o crear algo que antes no existía. Si se mide el tiempo, hay que distinguir entre el tiempo que la IA parece ahorrar en una tarea y el tiempo útil que realmente libera al final del proceso.

Este enfoque abre la puerta a resultados menos vistosos, pero más útiles. Un ensayo controlado de 2025 con programadores expertos, mostró un resultado inesperado: tardaban un 19% más con IA que sin ella y, aun así, estaban convencidos de haber ido más rápido. El dato no sirve para concluir que la IA no funciona en programación. Sirve para algo más importante: recordar que la percepción de velocidad no basta. Hay que medir objetivamente el resultado final, porque incluso usuarios expertos pueden confundir sensación de productividad con productividad real.

Las métricas que van más allá del uso indiscriminado permiten decidir dónde tiene sentido aplicar IA, en vez de forzarla sobre procesos que no la pedían para poder decir que ya se usa. Solo así se sabe dónde concentrar recursos, dónde rediseñar procesos y dónde soltar.

Hay además una pregunta que casi nunca se hace: ¿para quién es la métrica? Se habla mucho de los indicadores hacia el comité, hacia los accionistas o hacia fuera. Pero dos indicadores pueden parecer idénticos y servir, sin embargo, a fines opuestos. Uno existe para que la empresa pueda decir que usa IA. El otro, para que el empleado que la usa aprenda a sacarle partido. Y nadie conoce mejor que ese empleado dónde la IA le ahorra una mañana entera y dónde se la hace perder revisando un texto con errores o un código que no compila.

En conclusión, una organización termina pareciéndose a lo que mide. Elegir las métricas de IA no es una tarea técnica que se delega: es elegir en qué se convierte la empresa. Si se mide el uso, se tendrá uso. Si se mide el resultado, se tendrá una organización que emplea la IA donde de verdad sirve.

El impacto del CIO en relación con la IA no depende de que se use mucho en la organización. La IA sigue reescribiendo la función del CIO, y una parte de esa redefinición pasa por las métricas que pone delante de la empresa.

Este es solo uno de los frentes. La IA está cambiando las métricas, pero también el talento, los procesos, la relación con negocio y la forma en que se reparte el conocimiento dentro de la empresa. Seguiremos explorando cómo todo ello redefine la función del CIO.