# Evaluar registros de una configuración de IA

Recurso editorial de Ranquia, preparado el 5 de octubre de 2026. Requiere Python 3.11 o posterior; solo biblioteca estándar. No instala nada, no usa red, no ejecuta asistentes ni accede a cuentas. No necesita API key.

## Alcance antes de ejecutar

El comprobador valida un esquema propio de **registros declarados**. No prueba que un asistente haya ejecutado una tarea, leído un archivo o cargado instrucciones. No comprueba las referencias de evidencia ni evalúa la verdad o calidad semántica del texto. Los hashes de entradas se comparan como declaraciones; el hash de salida sí se recalcula sobre el texto incluido. Incluso ese hash no acredita la procedencia del texto.

Todos los registros de `fixtures.json` son sintéticos y están rotulados como tales. Cliente, modelo, estados, salidas, notas y aceptación se escribieron para probar reglas del comprobador: no provienen de ejecuciones de modelos. Las expectativas de los 26 controles quedaron escritas antes del ensayo local. No uses esos ejemplos como evidencia de rendimiento.

## Uso

Extrae el ZIP y abre una terminal dentro de la carpeta extraída:

```text
python checker.py fixtures.json
```

Se imprime un JSON. Código 0 significa que cada estado y lista de resultados rechazados coincidió con la expectativa del fixture. **No significa que todos los ensayos estén completos ni que las respuestas sean buenas.** Código 1 significa que alguna expectativa no coincide. Un JSON mal formado o fuera de este esquema puede producir un error de Python: el programa no es un validador universal de JSON arbitrario.

Se probó con Python 3.11.4 en Windows. El script usa únicamente Python estándar y no incluye llamadas a modelos.

## Tres condiciones y cambios permitidos

Cada caso contiene exactamente un registro `base`, uno `instrucciones` y uno `skill`. El ensayo diseñado usa invocación explícita de la skill; no mide selección automática. Se compara la base sin reglas adicionales, las reglas inline y las mismas reglas empaquetadas.

Los doce campos de `frozen` se mantienen iguales: tarea, entrada, versión de cliente, selector de modelo, ajustes de modelo, herramientas, permisos, ubicación de instrucciones base, contenido declarado de esas instrucciones, memoria, estado del workspace y criterio de aceptación. Son cadenas obligatorias. Los sufijos `_sha256` identifican huellas declaradas; el programa no abre esos archivos.

El tratamiento solo admite `delivery`, `rules_sha256` e `invocation`. Las reglas adicionales están ausentes (`null`) en la base y tienen la misma huella en instrucciones y skill. Los medios declarados son `none`, `inline` y `skill`; invocación `none`, `inline` y `explicit`. Un campo extra de tratamiento produce `NO_COMPARABLE`.

La ubicación de instrucciones base debe ser la misma; la ubicación de la skill no forma parte de esa ruta. No cambies permisos, herramientas ni contexto global al cambiar el tratamiento. El checker solo detecta lo registrado: capas ocultas o una declaración inexacta requieren revisión independiente.

## Campos de evidencia y calidad

- `execution.inputs_read`: booleano declarado; false conserva un fallo de lectura.
- `execution.treatment_loaded`: null en base; true/false en instrucciones y skill. Una carga fallida no se convierte en respuesta correcta ni se oculta.
- `execution.evidence_note`: referencia o nota no vacía. El checker no abre ni autentica esa evidencia.
- `output.text` y `output.sha256`: salida incluida y huella UTF-8 coincidente.
- `quality.accepted` y `quality.review_note`: juicio y razón del revisor, no del programa. Una salida rechazada sigue siendo comparable si el diseño y los registros cumplen.
- `metrics.seconds` y `metrics.tokens`: número no negativo o null si no se midió. El programa no sustituye null por 0 y no calcula medias ni ganancias.

Los fallos de aplicación dentro de una salida completa se registran en la revisión de calidad; no son motivo para borrar el ensayo. Una carga fallida es un resultado operativo que debe conservarse, aunque no permita atribuir calidad al contenido cargado de la skill.

## Estados y límite de la conclusión

| Estado | Interpretación limitada |
|---|---|
| `COMPARABLE_DECLARADO` | Los campos exigidos permiten la comparación declarada. No prueba ejecución real ni causalidad. |
| `NO_COMPARABLE` | Hay una diferencia fuera del tratamiento permitido o reglas distintas. |
| `ENSAYO_INCOMPLETO` | Se declaró lectura o carga fallida. Conservar y explicar ese fallo. |
| `EVIDENCIA_INSUFICIENTE` | Falta un dato exigido o no coincide el hash de salida. |

Se devuelve el primer impedimento encontrado; no es un auditor exhaustivo de todos los defectos del registro. `quality_rejected` identifica condiciones rechazadas revisadas hasta ese punto. Una lista vacía en un caso incompleto no declara calidad aceptada. El caso 17 contiene una salida mala sembrada: se devuelve comparable y `quality_rejected: ["skill"]`.

Si sustituyes los ejemplos por registros propios, conserva la forma del JSON, las tres condiciones y las expectativas de cada caso. Define las expectativas antes de ejecutar el comprobador. El ensayo local verifica reglas del esquema; tus observaciones de calidad necesitan además revisar las salidas con la fuente y los criterios fijados antes de usar el asistente.

## Archivos e integridad

- `checker.py`: comprobador local.
- `fixtures.json`: 26 casos sintéticos, expectativas y tres condiciones por caso, salvo el negativo deliberado de condición ausente.
- `results.json`: salida observada del comprobador.
- `README.md`: alcance e instrucciones.
- `manifest-sha256.json`: huellas de los cuatro archivos anteriores; no se incluye a sí mismo ni al ZIP.

Artículo: https://ranquia.com/productividad/evaluar-skills-instrucciones-ia/ (URL editorial prevista). Código y fixtures propios de Ranquia: se permite usar, copiar y adaptar este kit, conservando la atribución y las advertencias de alcance. No incluye software ni salidas de terceros.
