Evaluar 771 sitios a mano nunca iba a pasar, así que usamos modelos de IA como jueces. Funcionó lo suficiente para ser útil y lo suficientemente mal para enseñarnos algo. Esto le diríamos a quien vaya a copiar el método.
La configuración
Claude calificó cada sitio en 30 criterios juzgados a partir de capturas y datos del rastreo. Otros seis criterios, como velocidad y accesibilidad, se midieron por script. Luego ChatGPT recalificó nuestro sitio y los 40 mejores sin ver los nombres, y ambos modelos ordenaron esos 41 sitios cara a cara en grupos de seis.
Qué salió mal
- Los jueces discreparon. En puntajes absolutos los dos modelos solo correlacionaron 0,40 (Spearman). En rankings cara a cara coincidieron más, 0,68. Si usa un solo juez, usa una sola opinión.
- Los puntajes absolutos suben. ChatGPT dio a la mayoría de los mejores sitios entre 16 y 19 sobre 20 en casi todos los criterios, lo que comprime las diferencias. El ranking cara a cara obliga a elegir y separa al grupo.
- Nuestro puesto cambió con el método. Nuestro sitio fue 11.º de 41 en los puntajes absolutos de Claude, 3.º en su comparación cara a cara y 1.º en los dos de ChatGPT. El resumen honesto es una banda, no un número.
- El sesgo a lo propio existe. Uno de los jueces también ayudó a construir nuestro sitio. Juzgar a ciegas con otro proveedor es la corrección mínima, y aun así no es una prueba.
- Las capturas ocultan el movimiento. Las imágenes fijas subestiman la animación y las microinteracciones de todos los sitios.
Qué salió bien
Los jueces encontraron defectos reales que se nos habían pasado: contadores que mostraban cifras erróneas durante la animación, una contradicción entre “cuatro productos” y “ocho apps”, diez fallas de contraste y un marcador donde debía ir una captura. Los corregimos, confirmamos la corrección de contraste con un escaneo automático de accesibilidad y volvimos a calificar el sitio: el puesto de diseño web pasó del 11.º al 8.º de 772 y el general del 80.º al 46.º.
Si copia este método
- Use al menos dos jueces de proveedores distintos y oculte los nombres al segundo.
- Prefiera el ranking cara a cara sobre los puntajes absolutos para el orden final. Deje los puntajes absolutos para encontrar defectos específicos.
- Mida por script todo lo que pueda: velocidad, accesibilidad, datos estructurados. Use la IA solo para lo que requiere criterio.
- Reporte una banda y el desacuerdo, no un puesto único.