Un grupo de agentes de IA, una oferta de 70 horas y cero respuestas
Le hicimos una pregunta incómoda a un grupo de personas que no existen: «Me ofrecen un trabajo de 70 horas semanales. ¿Acepto, o elijo un ritmo moderado porque ya tuve suficiente?» Todas contestaron lo mismo, con otras palabras. Nos pareció demasiado bueno para ser cierto, y lo era.
Esas «personas» son agentes de inteligencia artificial. Cada uno recibe un perfil, con su manera de ser y lo que lo motiva, y lo soltamos en una red social de juguete durante doce rondas. En cada ronda lee, publica, responde o se calla. Queríamos ver si discutían.
En la primera corrida parecía que sí coincidían. Todos coincidían. Un acuerdo perfecto. Entonces contamos qué había pasado de verdad:
Cero.
Ninguno le había respondido a nadie. De 98 acciones, 97 fueron posts sueltos y una fue un «me gusta».
El «acuerdo» no lo había alcanzado el grupo. Eran monólogos que coincidían en el tema.
Tres fallas que se parecían a un hallazgo
Buscamos por qué, y encontramos tres fallas nuestras. Ninguna era una opinión del modelo. Primera: todos eran igual de promedio. La herramienta no encontraba el perfil de cada agente y les ponía cero coma cinco en cada rasgo de personalidad. Segunda: lo que escribían no era una respuesta. Aunque el agente quisiera contestarle a alguien, su texto se publicaba como un post suelto. Y tercera: nadie defendía la otra opción, porque los posts con los que arrancaba la conversación defendían todos lo mismo. Desde afuera, esas fallas se leían como consenso. La lección: cuando una simulación te da la razón, sospecha primero del montaje.
Buscamos por qué y encontramos tres cosas, ninguna de ellas una opinión del modelo:
- Todos eran igual de «promedio». La herramienta no encontraba el perfil de cada agente y le ponía 0,5 en cada rasgo de personalidad. Un término medio perfecto, para todos.
- Lo que escribían no era una respuesta. Aunque el agente quería contestarle a alguien, su texto se publicaba como un post suelto.
- Nadie defendía la otra opción. Los posts con los que arrancaba la conversación defendían todos lo mismo: el ritmo moderado.
Eran fallas nuestras que, desde afuera, se leían como consenso. Cuando una simulación te da la razón, sospecha primero del montaje.
Arreglamos eso, y apareció otro problema
Al arreglar las tres fallas, los agentes empezaron a responder. Y apareció otro problema: casi todas las respuestas caían sobre un solo post. No había una conversación, había una fila frente a una ventanilla. Así que cambiamos el entorno en tres pasos: que las respuestas se repartieran, que los dos bandos tuvieran quien los defendiera, y que en cada ronda alguien escribiera un post propio para abrir otro hilo. Mira la figura dos. Pasamos de noventa y tres por ciento de las respuestas en un solo hilo, a veintitrés por ciento o menos, con entre nueve y dieciséis hilos, y con los dos bandos respondiendo casi lo mismo.
Al arreglar las tres, los agentes empezaron a responder. Y casi todas las respuestas cayeron sobre un solo post. No había una conversación; había una fila frente a una ventanilla.
Cambiamos el entorno en tres pasos: que las respuestas se repartieran, que los dos bandos tuvieran quien los defendiera y que, en cada ronda, alguien escribiera un post propio para abrir otro hilo.
¿Y ahora sí discutían?
¿Y ahora sí discutían? En parte. Alrededor de cuatro de cada diez respuestas no apoyaban al post que contestaban, y entre bandos distintos eran la mitad o más. Para medirlo usamos otro modelo de inteligencia artificial, un juez llamado Jev. Lee dos textos, el post y la respuesta, y dice si se contradicen, se apoyan o ninguna de las dos cosas. Revisamos veinticuatro veredictos a mano: acierta cuando dice contradice, pero se le escapa el desacuerdo educado. Y hay algo más. En un experimento anterior, con el lanzamiento de un producto, la misma receta llevó el desacuerdo a sesenta y ocho por ciento. Aquí quedó entre treinta y seis y cuarenta y dos. No sabemos por qué. Dos corridas idénticas ya dieron veintisiete y sesenta.
En parte. Con la conversación ya armada, alrededor de 4 de cada 10 respuestas no apoyaban al post que contestaban, y entre bandos distintos eran la mitad o más. Para medirlo usamos otro modelo de IA, un juez que lee dos textos, el post y la respuesta, y dice si se contradicen, se apoyan o ninguna de las dos cosas. Revisamos 24 de sus veredictos a mano: acierta cuando dice «contradice», pero se le escapa el desacuerdo educado, el del «entiendo tu punto, pero…».
Hay algo más. En un experimento anterior, con el lanzamiento de un producto, el mismo recurso llevó el desacuerdo al 68 %. Aquí quedó entre 36 % y 42 %.
No sabemos por qué. Puede ser el tema (un dilema personal), puede ser que el juez se pierda lo educado, puede ser azar. Hay una pista a favor del azar: dos corridas idénticas dieron 27 % y 60 %.
Lo que nos quedamos
Qué nos quedamos. Un resultado es una moneda tirada una vez. Si no se repite, no es un hallazgo. Y cuando te dice lo que querías oír, pregúntate primero cómo está armada la sala. Tres preguntas sirven para cualquier simulación con agentes. Una: ¿cuántas respuestas hubo de verdad de un agente a otro, o solo te muestran un resumen? Dos: ¿cuánto cambia el resultado si repites la corrida? Tres: ¿alguien comprobó al juez automático contra personas? Y recuerda lo que esto no es. Los agentes son texto generado por un modelo, no personas. Sirve para pensar cómo probar una idea, no para saber qué piensa la gente de verdad.
Un resultado es una moneda tirada una vez. Si no se repite, no es un hallazgo. Y cuando te dé la razón, pregúntate primero cómo está armada la sala.
Lo que esto no es
Los agentes son texto que genera un modelo, no personas. Es una pregunta, un modelo y pocas corridas. Sirve para pensar cómo se prueba una idea con agentes, no para saber qué piensa la gente de verdad.
Si quieres ver cómo se hizo, abajo están las conversaciones reales de las simulaciones, y en la otra vista, la herramienta y los datos completos.