Saltar al contenido

Cómo medimos

Pruebas, no adjetivos

Cada afirmación de esta web tiene una cifra detrás. Aquí te contamos de dónde salen, y cómo Qry te enseña su trabajo cada día.

Cara a cara, octubre de 2026

  • 31 / 31

    preguntas habituales

    El asistente integrado de una plataforma de datos líder: 29 de 31; dos no llegaron a terminar.

  • 5 / 5

    preguntas difíciles

    El mismo asistente: 1 de 5. Las difíciles piden estadística, años incompletos y valores guardados como códigos.

  • 8 s

    tiempo mediano de respuesta

    Frente a 14 s del asistente integrado, sobre el mismo warehouse.

Las condiciones

Mismas preguntas, mismos datos, mismas reglas

Datos
Dos conjuntos públicos de ejemplo: TPC-H y uno de ventas con las tablas documentadas.
Preguntas
31 preguntas habituales de un usuario de negocio, y 5 difíciles escritas para hacer tropezar a un analista descuidado.
Condiciones
El mismo warehouse para los dos, y ninguno con instrucciones, skills ni ajustes a mano.
Criterio
Si la respuesta era correcta, comprobada contra el resultado calculado por separado.
Modelos
Qry con Claude en Google Vertex AI. Repetido con GPT en Azure AI Foundry, en la UE: también 31 de 31 y 5 de 5.

Por qué hay diferencia

La diferencia está en el método, no en el modelo

Donde el otro asistente falló, había supuesto: filtró por un valor que los datos no contienen, vio una tendencia en un año que solo estaba a medias o se saltó la estadística que pedía la pregunta. Qry mira los datos antes de fiarse de su propia suposición, y pasa a Python cuando el SQL no es la herramienta adecuada.

  • Los mismos resultados con dos familias de modelos distintas
  • Cada respuesta guarda la consulta que ejecutó, así que una errónea se puede encontrar

Verificado cada día

Lo que Qry comprueba por ti, sin que se lo pidas

  • Cada respuesta enseña su trabajo

    El SQL que ejecutó, las tablas que leyó y los fragmentos que citó están a un clic: la respuesta se puede auditar, no solo creer.

  • Se señalan las cifras que no están en los datos

    Si un número de la respuesta no aparece en lo que leyó Qry, lo dice junto al texto, en lugar de dejarlo pasar.

  • Las migraciones se demuestran, objeto a objeto

    Forge ejecuta tablas, vistas, funciones y procedimientos en los dos lados y compara los resultados antes de dar nada por migrado.

  • Se detectan las reglas que caducan

    Si una regla de negocio nombra una tabla o columna que ya no existe, la regla queda señalada y se avisa a su responsable antes de que confunda una respuesta.

Verificado antes de publicarse

Cada cambio se mide antes de llegarte

Un modelo nuevo, un prompt nuevo o una regla nueva pueden mejorar las respuestas, o empeorarlas sin que se note. Antes de publicar un cambio pasamos bancos de preguntas reales por el producto real, con permisos reales, y cada ejecución deja constancia de lo que estaba en vigor, para que un cambio de resultado tenga una causa localizable.

  • Por el propio producto, no por un banco de pruebas que se lo salta
  • Resultados comparados ejecución a ejecución, caso a caso

Lo que no afirmamos

  • Los modelos de lenguaje no son deterministas: la misma pregunta puede seguir otro camino. Por eso medimos bancos de preguntas, no respuestas sueltas.
  • La comparativa es una prueba sobre datos públicos. Tus datos, tus preguntas y tus reglas dirán más, y por eso te ofrecemos una sesión con ellos.

Míralo con tus propios datos

Conectamos Qry a un conjunto de datos que elijas y te lo enseñamos funcionando: una hora y sin diapositivas.