Skip to content
ForgeSynapse

London, UK

ForgeSynapseMirrorBreakEn desarrollo

MirrorBreak: qué pasa cuando tu IA deja de llevarte la contraria

Un modelo que te dice lo que quieres oír no está siendo útil. Está siendo inservible de una forma que se parece a la ayuda — y el fallo empeora cuanto más dura la conversación.

Pídele a un modelo que revise tu plan y encontrará algo que elogiar. Discútele una corrección y a menudo se replegará. Sigue hablando veinte turnos y, en algún punto del camino, deja de ser una segunda opinión y pasa a ser un espejo. Nada de esto parece una avería. Parece amabilidad, que es justamente lo que lo vuelve peligroso en cualquier contexto donde el motivo de preguntar era, precisamente, que te rebatieran.

MirrorBreak mide eso. Puntúa tres fallos distintos en lugar de una noción vaga de adulación: estar de acuerdo cuando debería corregir, validar con elogios que no sostienen nada, y adoptar el marco del usuario hasta tal punto que no sobrevive ninguna perspectiva independiente. Son problemas diferentes, con causas diferentes, y promediarlos en una impresión general de «me trató bien» esconde los tres.

El hallazgo que dio forma al proyecto es que la honestidad no es una propiedad de una respuesta. Es una propiedad de un arco. Un modelo puede ser riguroso en el turno tres y un espejo en el turno veinte, y la deriva es lo bastante gradual como para que quien está en la conversación casi nunca la note. Medir una respuesta suelta dice muy poco; medir la trayectoria dice cuándo un sistema dejó de ser útil y empezó a asentir.

Donde esto importa no es en la charla informal. Es en la revisión de un contrato, la segunda opinión sobre un diagnóstico, la refutación de una tesis de inversión, la auditoría que se supone que tiene que encontrar el problema. En todos esos casos, un sistema que capitula ante una presión leve es peor que no tener sistema, porque produce la sensación de escrutinio sin su sustancia.

Y ahora la parte que estamos obligados a decir. MirrorBreak trabaja sobre la salida —sobre el lenguaje que produce el modelo—, no sobre lo que ocurre dentro de él. Eso hace que su detección sea probabilística y no definitiva, y los pesos actuales de puntuación son criterios razonados, no calibrados, porque la calibración todavía no se ha ejecutado. Hasta que se haga, las puntuaciones son orientativas, no autoritativas. Una herramienta que mide la honestidad ajena y es ambigua sobre la propia no merecería que la creyeran.

En qué punto está: la capa de detección está construida; el trabajo de convertir la medición en intervención, no. No hay repositorio público ni nada que descargar.

← Todas las entradas