Doce preguntas para elegir proveedor de IA
Todas las propuestas se parecen: hablan de agentes, de RAG y de que no alucina. Estas doce preguntas separan a quien construyó algo en producción de quien armó una demo el fin de semana pasado.
En resumen
El vocabulario dejó de diferenciar: «RAG», «agentes» y «sin alucinaciones» los dice todo el mercado, incluidas agencias que revenden herramientas no-code. Preguntar por la métrica sí diferencia.
La pregunta que más información da es la más simple: ¿con qué número van a comprobar que las respuestas son correctas? Si no hay número, no hay criterio de aceptación.
Pedí siempre alcance, precio, fecha y criterio de aceptación por escrito. Sin criterio de aceptación no hay forma de discutir si algo está terminado, y esa discusión siempre llega.
La propiedad del sistema es el punto ciego más caro: varios proveedores entregan una configuración dentro de su plataforma, no algo que se pueda mover a otro lado.
Qué preguntar y qué deberías escuchar
| Pregunta | Buena señal | Mala señal |
|---|---|---|
| ¿Con qué métrica van a comprobar que responde bien? | Nombra recall@k, groundedness o similar, con número objetivo | «Lo probamos y lo ajustamos» |
| ¿Quién escribe las preguntas de prueba? | Alguien de tu negocio, y son preguntas reales | Las escribe el proveedor, o no hay |
| ¿Qué hace el sistema cuando no sabe? | Lo dice, cita fuente y escala con contexto | «Siempre encuentra algo que responder» |
| ¿Cuánto cuesta una consulta? | Da la cifra y la proyecta al volumen esperado | No lo ha calculado |
| ¿Sobre qué está construido? | Nombra las piezas y explica por qué esas | Evita la pregunta o dice «tecnología propia» |
| ¿Me llevo el código y los prompts? | Sí, con repositorio y documentación de despliegue | «Vive en nuestra plataforma» |
| ¿Qué pasa si el proveedor del modelo sube el precio? | Hay medición de consumo y plan de cambio de modelo | No lo ha pensado |
| ¿Cómo se actualiza la información? | Reindexación programada y revisión del contenido nuevo | Manual, cuando alguien avise |
| ¿Quién responde si falla un domingo? | Hay ventana de atención y tiempo de respuesta escrito | «Estamos pendientes» |
| ¿Qué garantía dan y por cuánto tiempo? | Plazo escrito y alcance de lo cubierto | Sin plazo |
| ¿Puedo hablar con dos clientes suyos? | Da nombre, cargo y teléfono | Solo testimonios anónimos |
| ¿Qué documento me queda al terminar? | Arquitectura, decisiones, medición y plan de operación | Una presentación |
Pedí el número, no la demostración
Toda demo funciona. Está armada con las preguntas que el sistema contesta bien y se hace en un ambiente controlado. Lo que no está en la demo es el 20% de preguntas raras que llegan en producción y que definen si el usuario vuelve a usarlo.
La pregunta que reordena la conversación es esta: de cien preguntas reales de nuestros clientes, ¿cuántas va a responder correctamente, y cómo lo van a comprobar antes de salir a producción? Un proveedor que trabajó en producción tiene una respuesta estructurada. Uno que no, cambia de tema hacia la tecnología.
En un barrido de más de ochenta proveedores colombianos hecho en agosto de 2026, ninguno vendía sobre métricas de evaluación. No significa que ninguno las use: significa que hay que preguntarlo explícitamente, porque no viene en la propuesta.
Cinco frases que conviene tomar en serio
- Casi nadie entrena modelos propios. Suele significar un prompt sobre la API de otro, lo cual está bien, pero llamarlo de otra forma dice algo del resto de la propuesta.
- Todos los modelos de lenguaje pueden inventar. Lo que existe es reducir la frecuencia y medirla; prometer cero es prometer lo que no se puede cumplir.
- Un producto de autoservicio, quizás. Una implementación con integraciones, no.
- Preguntá si se refiere a entrenamiento o a recuperación. Son cosas distintas con costos y riesgos distintos, y se confunden en casi todas las propuestas.
- Cierto, y por eso el alcance se cierra antes de firmar. Si después de dos reuniones sigue sin haber cifra, el problema no es el alcance.
Preguntas frecuentes
¿Qué debe incluir una propuesta de un proyecto de IA?
Alcance cerrado, precio, fecha y criterio de aceptación. El criterio de aceptación es la parte que casi nunca aparece y la única que permite discutir objetivamente si lo entregado está bien: qué preguntas tiene que responder correctamente el sistema y con qué frecuencia. También conviene que diga quién es dueño del código y de los prompts al terminar.
¿Es mala señal que un proveedor no publique precios?
No por sí solo, pero cambia lo que tenés que exigir. Si no hay precio público, la primera reunión debe terminar con un rango, no con otra reunión. En el mercado colombiano de agosto de 2026, catorce proveedores publican cifras exactas; el resto cotiza después de una llamada. Las dos formas funcionan si la cifra llega rápido.
¿Conviene contratar a una agencia que usa n8n o Make?
Depende de lo que estés pagando. Esas herramientas son legítimas y para muchos casos son la decisión correcta: entregan rápido y cuestan poco. El problema aparece cuando se cobra precio de desarrollo a la medida por una configuración de dos días, o cuando el proceso necesita validación estricta y control de costo que la plataforma no da.
¿Cómo verifico la experiencia de un proveedor de IA?
Pedí dos referencias con nombre, cargo y teléfono, y llamalas. Preguntá por lo que salió mal, no por lo que salió bien: la respuesta a esa pregunta dice más sobre cómo trabaja el proveedor que cualquier caso de éxito. Si solo hay testimonios anónimos o capturas de pantalla, tratalo como material de mercadeo.
¿Cuántas propuestas conviene pedir?
Tres, y del mismo estrato. Comparar la propuesta de una agencia de COP 3M con la de una consultora de USD 50.000 no informa nada porque no están vendiendo lo mismo. Antes de pedir cotizaciones conviene contar las integraciones necesarias y decidir si el sistema solo va a leer o también a escribir: eso es lo que hace comparables las propuestas.