Búsqueda inteligente con IA
Pinzas colocando una pequeña pesa sobre una balanza de precisión

Cómo elegir un modelo de IA: calidad, costo y pruebas reales

Los rankings cambian cada mes. Cómo se cobra la IA, cómo armar tu propia evaluación con casos reales y por qué no conviene casarse con un solo modelo.

Cada pocas semanas aparece un modelo de IA nuevo que encabeza algún ranking. Para una empresa que quiere usar IA en serio, esa velocidad genera una duda razonable: ¿cuál elijo, y qué pasa si mañana sale uno mejor?

La buena noticia es que la pregunta tiene una respuesta práctica que no depende de los titulares. La mala es que requiere un poco de trabajo propio: nadie puede decirte cuál es el mejor modelo para tu caso sin probarlo con tus datos.

Por qué los rankings no deciden por ti

Los benchmarks públicos miden capacidades generales: razonamiento matemático, programación, conocimiento amplio. Son útiles para tener una idea del nivel de un modelo, pero tu tarea es otra.

  • Tu caso es específico. Clasificar correos de clientes chilenos, extraer datos de facturas locales o responder con tus políticas no aparece en ningún benchmark.
  • Las diferencias se achican. En muchas tareas de negocio, varios modelos rinden de forma parecida, y lo que los separa es el costo o la velocidad.
  • El estilo importa. Dos modelos pueden acertar igual y uno escribir de forma mucho más adecuada para tus clientes.

Cómo se cobra la IA

La mayoría de los proveedores cobra por tokens, fragmentos de texto que equivalen aproximadamente a partes de palabras. Hay algunas reglas generales que conviene tener claras:

  • Entrada y salida tienen precios distintos. Lo que el modelo genera (salida) suele costar varias veces más por token que lo que lee (entrada).
  • El contexto se paga en cada llamada. Si cada consulta incluye un manual de 50 páginas, pagas por leerlo cada vez.
  • Los agentes multiplican. Un agente que da diez pasos hace diez llamadas, y cada una vuelve a leer el contexto acumulado.
  • Existen descuentos importantes. Por ejemplo, en la tabla de precios de Anthropic, el procesamiento por lotes (para tareas que no necesitan respuesta inmediata) tiene un 50% de descuento, y leer contenido desde la caché de prompts cuesta una fracción del precio normal de entrada.

Por eso la métrica útil no es el precio por millón de tokens, sino el costo por tarea resuelta: cuánto cuesta clasificar un correo, procesar una factura o responder una consulta, considerando todo el flujo.

Arma tu propia evaluación

Una evaluación (en la jerga, un eval) es un conjunto de casos de prueba con su resultado esperado. Es la herramienta más valiosa para elegir un modelo, y también para mejorarlo después.

  1. Reúne casos reales. Entre 50 y 200 ejemplos de la tarea, sacados de tu operación. Incluye los fáciles, los difíciles y los raros.
  2. Define qué es una buena respuesta. ¿El dato extraído es exacto? ¿El tono es el correcto? ¿Reconoce cuando no sabe en vez de inventar? ¿Respeta el formato?
  3. Automatiza lo que se pueda. Si la respuesta es un dato (un monto, una categoría), compararlo con el esperado es inmediato.
  4. Para respuestas abiertas, usa una rúbrica. Se puede usar otro modelo como evaluador con criterios explícitos, pero conviene calibrarlo contra la revisión de una persona en una muestra.
  5. Corre los modelos candidatos sobre el mismo conjunto y compara.
  6. Repite cada vez que cambies algo: el prompt, el modelo o los datos de referencia.

Qué medir además de “si responde bien”

  • Latencia: cuánto tarda. Un chat en vivo y un proceso nocturno tienen exigencias muy distintas.
  • Consistencia: si ante el mismo caso responde igual en distintas ejecuciones.
  • Cumplimiento de formato: si la salida estructurada viene completa y válida.
  • Comportamiento ante lo que no sabe: si reconoce el límite o inventa.
  • Costo por cada mil tareas: una cifra que tu área de finanzas puede entender.

No tienes que casarte con un modelo

Elegir un modelo no debería ser una decisión irreversible. Algunas prácticas que mantienen la flexibilidad:

  • Usa el modelo adecuado para cada paso. Clasificar o extraer datos simples suele resolverse bien con modelos pequeños, rápidos y baratos. Razonamientos complejos o redacción delicada justifican un modelo mayor. Un mismo flujo puede usar ambos.
  • Separa tu lógica del proveedor. Una capa intermedia permite cambiar de modelo sin reescribir la aplicación.
  • Ten un plan B. Si un proveedor tiene una caída, un modelo alternativo puede tomar el tráfico crítico.

Diseñar esa capa, con enrutamiento entre modelos, monitoreo de costos y alternativas ante fallas, es parte de lo que hacemos en Agentes de IA para empresas. Para proyectos más acotados, la misma lógica se aplica al incorporar IA integrada en tu sitio o sistema.

Otros factores que pesan en la decisión

  • Política de datos: si el proveedor usa o no tus datos para entrenar, cuánto tiempo los retiene y qué acuerdos ofrece para empresas.
  • Dónde se procesan los datos: relevante si manejas información sensible o tienes exigencias regulatorias.
  • Funciones disponibles: salidas estructuradas, uso de herramientas, procesamiento de imágenes y documentos.
  • Modelos abiertos: los modelos de pesos abiertos permiten alojarlos en tu propia infraestructura, con más control sobre los datos, pero también con el costo de operarlos y mantenerlos.
  • Disponibilidad y soporte: límites de uso, estabilidad del servicio y canales de soporte.

Tu evaluación es el activo, no el modelo

Los modelos van a seguir cambiando. Lo que permanece es tu conjunto de casos de prueba: con él puedes evaluar cualquier modelo nuevo en horas, saber si de verdad mejora tu caso y cambiar con confianza cuando convenga.

Si estás eligiendo modelo para un proyecto, o quieres saber si lo que usas hoy sigue siendo la mejor opción en calidad y costo, partir por esa evaluación es la inversión más rentable que puedes hacer.

Siguiente paso

¿Esto te hizo pensar en tu propio proyecto?

Conversemos sobre cómo aplicarlo a tu negocio.

Asistente IA de atención al cliente
Agente de agendamiento con IA