Pre-registramos una predicción a favor de nuestro producto. Los datos dijeron que no. La publicamos.

Antes de ver un solo dato, sellamos una predicción por hash criptográfico: que la capa psicométrica que añade nuestro motor es la que hace que ocho mercados respondan distinto ante el mismo dilema. Era la predicción que favorecía al producto. La registramos, junto al instrumento y el plan de análisis completo, y nos comprometimos por escrito a publicar el resultado saliera como saliera.

Salió que no. Pero el estudio salió con dos titulares, no uno. Este es el writeup al que nos comprometimos.

Qué es el estudio

El objeto no es la psicología de ocho países. Es una pregunta de validez de constructo para todo el campo de los respondentes sintéticos: cuando una población sintética difiere por país, ¿qué capa del procedimiento de generación produjo esa diferencia? Casi nadie la aísla, así que la respuesta suele ser una conjetura. Construimos los controles para dejar de conjeturar.

Lo que se sostuvo: el perfil cambia el razonamiento dentro de un mercado

Fija el perfil de valores de una persona sintética en el polo opuesto y su forma de razonar cambia en la dirección predicha, en los ocho mercados, según nuestro clasificador sellado.

En la práctica, un perfil que fijas deja una huella legible en cómo razona el respondente.

El resultado completo: dos ejes con fuentes distintas

Las diferencias entre mercados también son reproducibles (tamaños de efecto de 0,17 a 0,38, reproducibles en tres semillas de generación independientes). Pero no vienen de nuestra capa psicométrica. Una celda de control con la capa retirada muestra la misma estructura entre mercados; una versión de prompt plano sobre el mismo modelo base tampoco muestra degradación. Dos controles independientes, hechos para pillar cosas distintas, apuntan al mismo sitio.

Lo que emerge es una separación limpia entre dos ejes que la práctica tiende a confundir:

La parte que casi ninguna empresa puede publicar: nos corregimos a nosotros mismos

Nuestra primera lectura del dato sugería algo más fuerte —que la celda sin la capa psicométrica tenía más estructura entre mercados, una "inversión"—. Habría sido un resultado llamativo. No nos fiamos. Comprobamos si era un artefacto de que nuestro propio codificador fuera más ruidoso sobre una celda que sobre otra, y lo era: alrededor del 79% de la aparente inversión era ruido de medición. Así que retiramos la afirmación fuerte y nos quedamos con la firme y más pequeña: la capa no añade estructura entre mercados. Cazamos nuestro propio over-claim antes de publicar, no después.

Qué SÍ afirmamos, y qué NO

En dos columnas, porque la distinción es el producto:

Sí afirmamos

• Que fijar el perfil de valores cambia cómo razona una persona dentro de un mercado, en la dirección predicha en los ocho mercados.
• Que la estructura entre mercados es reproducible entre semillas.
• Que todo esto es auditable: pre-registro por hash, 2.600 respuestas con etiquetas y código con semillas fijas, abiertos.

No afirmamos

• Que nuestra capa psicométrica capture la cultura de cada país. No lo hace — esa es la predicción que el dato falsó. La estructura entre mercados la renderiza el modelo base; un segundo modelo, con idéntico país e idioma, no diferenció los mercados en absoluto. Las etiquetas de mercado denotan el contexto de generación, no un país.
• Que esto esté "validado". La codificación humana ciega ya se ha hecho — ver la actualización al final. Dos de las seis conductas superaron el listón que habíamos pre-registrado; la puerta en conjunto no, así que la palabra sigue sin aplicar. Ese listón lo pusimos nosotros, antes de que hubiera dato alguno, y reportamos contra él pase lo que pase: eso es lo que separa un estudio auditable de una cifra auto-reportada.

Para ser exactos con lo que hace la capa psicométrica, porque es fácil de resumir mal: cambia cómo razona una persona dentro de un mercado (8 de 8 mercados, en la dirección predicha), y no la estructura entre países. Son dos ejes distintos con fuentes distintas; confundirlos es justo el error que este estudio existe para corregir.

Por qué lo publicamos

El resultado tiene una cara incómoda para nosotros: la capa que añade nuestro producto no hace una de las cosas que su valor de mercado invitaría a suponer. Lo publicamos igual porque un estudio que puedes auditar —pre-registrado por hash, datos y código abiertos, resultados en contra de nuestro propio interés incluidos— vale más que una cifra de validación que nadie puede comprobar. Un escéptico puede reejecutar todo el análisis y ver que no movimos la portería. Ese es todo el objetivo.

Y la parte que se sostiene está registrada igual: sellada antes del dato, medida contra su predicción pre-registrada, abierta a que cualquiera la reejecute. Preferimos ser los que publican el estudio que va en contra de una parte de su propio producto que los que no pueden publicar nada que otro pueda comprobar.

Actualización, 6 de septiembre de 2026 — la codificación humana ya está hecha

Dijimos que la codificación humana ciega era la siguiente fase. Ya ha ocurrido, y esto es lo que encontró. Reclutamos a 27 personas en Prolific y les dimos a leer 120 de las respuestas a ciegas: traducidas al inglés, sin ninguna pista de su mercado de origen, y sin decirles en ningún momento que los textos eran sintéticos ni que la tarea se llamaba codificar. Antes de los ítems reales, cada una contestó tres preguntas de respuesta conocida; siete fallaron esa calibración y quedaron fuera del análisis, que no del pago, y los bloques que habían cubierto se relanzaron con un sustituto. Tras esas exclusiones, cada uno de los 120 textos queda con exactamente dos lecturas independientes.

Dos de las seis conductas salieron limpias: el acuerdo entre nuestro clasificador sellado y el consenso humano llegó a 0,93 y 0,96. Pero habíamos escrito la puerta como la conducta más débil, antes de tener ningún dato, y con esa regla no pasa: 0,62 frente al 0,70 al que nos habíamos comprometido. H2 y H3 siguen por tanto sin confirmar, exactamente como exige la cláusula de fallo pre-registrada.

Lo interesante es el porqué. No es que el clasificador lea mal los textos. Es que las lectoras discrepan entre ellas: en cuatro de las seis conductas, dos personas leyendo la misma respuesta no coinciden en si la conducta está presente. Donde no hay acuerdo humano no hay criterio contra el que medir a una máquina. El problema es nuestra taxonomía, no nuestro codificador.

Eso tiene una consecuencia que merece decirse para todo el campo, y es lo más útil que ha producido esta fase. Nuestros dos jueces basados en modelos de lenguaje coincidieron entre sí cerca del 90% de las veces sobre los mismos constructos en los que dos personas no llegan a un alfa de Krippendorff de 0,5. El acuerdo entre modelos de lenguaje es fácil de obtener y fácil de confundir con validez: mide la estabilidad de un procedimiento, no la existencia de la categoría. Solo la codificación humana ciega separa una cosa de la otra, y por eso la pagamos.

Lo que viene ahora es el trabajo ordinario de un programa de investigación. Reescribimos las definiciones de las cuatro conductas que las lectoras no supieron aplicar de forma consistente y recodificamos los mismos 120 textos — el dato ya está recogido y sellado, así que eso cuesta una reescritura y no un estudio nuevo. En paralelo, el brazo humano de respondentes, donde personas reales contestan el mismo dilema en vez de codificarlo, está preparado y sellado; ese es el paso que decide si las respuestas sintéticas convergen con las humanas. El paper está ya en v2.1 con el resultado completo de Fase 2 dentro, datos y código incluidos.

Si haces investigación cualitativa, nos gustaría de verdad saber dónde esto te engañaría. Ese hueco es lo que buscamos.