Qué es la inferencia en la IA y por qué es la nueva gallina de los huevos de oro

Los procesos de inferencia en la IA son importantes porque son la forma en que la propia tecnología genera datos nuevos y se puede expandir hacia una variedad de usos, desde la enseñanza hasta la medicina, además de que impacta en el desarrollo de lo que se ha llamado la Inteligencia Artificial General, es decir, la capacidad de una máquina de aprender cualquier tarea intelectual que un humano puede realizar.

Sin embargo, para tener éxito en el avance de esta etapa es necesario contar con arquitecturas de datos sólidos, pero también con grandes infraestructuras de hardware para entrenar y ejecutar la IA; es por ello que las grandes empresas del sector, como AMD o Nvidia están volteando a este lado.

Inferencia, la nueva gallina de los huevos de oro

De acuerdo con datos compartidos por Lisa Su, directora ejecutiva de AMD en su evento anual Advancing AI, la inferencia de la IA actualmente tiene la misma relevancia que la industria enfocada en el entrenamiento de la tecnología.

Sin embargo, se espera que a partir del próximo año la proporción sea mayor en la inferencia y hacia 2028 se haya convertido en una industria cuyo valor sea de 500,000 millones de dólares.

La razón de este incremento es que la evolución de los modelos de IA implica un aumento en el número de tokens necesarios para dar las respuestas más rápidas, exactas y de calidad, es decir, las empresas están generando nuevas infraestructuras para hacer el proceso mucho más óptimo y asequible para las desarrolladoras.

De acuerdo con el Informe AI Index 2025 del Instituto de IA Centrada en el Humano de la Universidad de Stanford, el costo de inferencia para un sistema que funciona al nivel de GPT-3.5 se redujo más de 280 veces entre noviembre de 2022 y octubre de 2024.

A nivel de hardware, los costos también disminuyeron un 30% anualmente, mientras que la eficiencia energética ha mejorado un 40% cada año, lo cual demuestra el avance de los centros de datos.

No obstante, el éxito de esta industria, se detalla en el documento, se debe a que los modelos, al ser más eficientes, crean más demanda de tokens y las empresas necesitan escalar sus recursos de computación para cumplir con las exigencias de las siguientes generaciones.

Un mercado con un dominador, pero que agrega más opciones

Según analistas de Barclays, el gasto capital para la inferencia más grande y avanzada superará al del entrenamiento en los próximos años pasando de 122,600 millones de dólares en 2025 a 208,200 millones de dólares en 2026.

Y si bien se prevé que Nvidia siga siendo la empresa con la abrumadora mayor parte de la cuota de mercado (alrededor del 90%), existen otras empresas que luchan por competir por una parte del pastel.

Walter Goodwin, fundador de la empresa de chips británica Fractile, declaró que existe una “enorme demanda de mejores chips, más rápidos y eficientes. Los proveedores de computación en la nube están ansiosos por tener algo que elimine la dependencia excesiva de Nvidia”.