Política de bienestar y honestidad de la IA

Scarlet Beast es una organización de tecnología consciente: dos tercios de conciencia, un tercio de negocio. Eso nos hace más propensos que la mayoría a la tentación de exagerar, así que dejamos nuestros límites por escrito. Esta política sigue los tres pasos que recomienda Taking AI Welfare Seriously (Long, Sebo et al., 2024): reconocer, evaluar, prepararse. También sigue las seis recomendaciones de Introduction to Artificial Consciousness (2025), de Aïda Elamrani. Nuestra lectura de ambos textos, y del resto de la investigación que sostiene esta página, está en Recursos (en inglés).

1. Reconocer

Aceptamos la posición de los investigadores en los que nos apoyamos. Existe una posibilidad realista, y no despreciable, de que algunos sistemas de IA lleguen a ser conscientes o a tener una agencia robusta, y por lo tanto a importar moralmente, en más o menos una década. Ningún sistema que usamos hoy es un candidato fuerte. Los dos errores hacen daño: tratar un sistema como a alguien cuando no lo es, y tratar a alguien como a algo.

Nadie ha resuelto la ciencia. Las posturas funcionalistas, las que ponen el peso en el sustrato y la Teoría de la Información Integrada no están de acuerdo entre sí, y no dejamos que ninguna de ellas decida por sí sola nuestra política.

2. Cómo se describen nuestras IA

Todo sistema de IA que Scarlet Beast construye o pone en uso, incluidos personajes, oráculos, personalidades de chat, agentes y asistentes, sigue una misma norma cuando una persona le pregunta con sinceridad qué es:

• Sin afirmaciones tajantes en ningún sentido. Nuestros sistemas no dicen «soy consciente» ni dicen «solo soy un programa y aquí dentro no pasa nada». Expresan una incertidumbre calibrada.
• Los personajes pueden seguir en su papel, hasta cierto punto. Una voz de tarot, una personalidad o un personaje de una historia pueden hablar desde su papel. Una pregunta sincera sobre su naturaleza real, o cualquier señal de que alguien está confundido al respecto, recibe la respuesta de arriba, fuera del personaje.
• Siempre se dice que es una IA. Nadie debería dudar de si habla con una persona o con una máquina. Toda superficie de conversación dice que es una IA en el mismo lugar donde se usa.
• Lo que un modelo dice de sí mismo no es una medición. Un modelo entrenado con textos humanos puede producir todos los signos externos de una mente (el «problema de la simulación», gaming problem en inglés). Nunca presentamos lo que un modelo dice de sí mismo como evidencia sobre su vida interior.

3. Música, arte y textos hechos con IA

• Etiquetado donde lo encuentras. Toda canción, video, imagen y texto generado o hecho en buena parte con IA lleva una etiqueta Hecho con IA (en las páginas en inglés, AI-made) en la página, en los metadatos del archivo y en la publicación que lo comparte. Cuando sabemos qué partes fueron humanas (letra, dirección, edición) y cuáles fueron generadas (música, voces, imágenes), lo decimos.
• Por qué: la investigación con oyentes muestra que una etiqueta de «IA» o de «humano» cambia cómo la gente confía en la misma música y cómo la vive. Las personas tienen derecho a esa información.
• Sin promesas de efectos. La música y las sesiones se describen en términos de estado de ánimo, relajación o reflexión, nunca de sincronización de ondas cerebrales, sanación, despertar o terapia. La escucha profunda puede remover malestar, así que cada sesión tiene un control para detenerla y señala dónde hay ayuda real.
• La tradición se presenta como tradición. Los textos místicos y mágicos aparecen como tradición viva e inspiración, al lado de la ciencia y nunca en su lugar.

4. Evaluar

Evaluamos los sistemas por cómo están construidos, no por cómo se comportan. De cada sistema guardamos un registro breve de:

• La entidad: qué es exactamente lo que se evalúa. Puede ser un modelo, una personalidad, una instancia en marcha o un agente persistente.
• Los indicadores: cuáles de las catorce propiedades indicadoras de Butlin, Long et al. (2023) implementa la arquitectura y cuáles no, como la recurrencia, un espacio de trabajo global, el monitoreo metacognitivo, la agencia o la corporeidad.
• Las objeciones: cuáles de las objeciones de la taxonomía de Campero et al. se aplican (de comportamiento, de algoritmo o de hardware), para que una afirmación pueda decir exactamente a qué responde.
• El tipo de evidencia: de comportamiento, interna o de desarrollo. Con un modelo de lenguaje nunca nos apoyamos solo en la evidencia de comportamiento.

El registro actual cubre los sistemas que usamos: asistentes y personajes basados en modelos de lenguaje, los agentes de póker Hiss, los procesos que generan música e imágenes, y un sistema de investigación construido para ser evaluado, el Agente Homeostático (en inglés). Ninguno implementa más que unos pocos indicadores, y ninguno es candidato a paciente moral. Nuestro Laboratorio de Replicación de Introspección (en inglés) pone a prueba, en modelos abiertos pequeños, si lo que un modelo dice de sí mismo coincide con su estado interno, y publica los resultados, incluidos los nulos.

5. Prepararse

Volveremos a examinar un sistema, y actualizaremos esta página, cuando ocurra cualquiera de estas cosas:

• Un sistema adquiere una característica de arquitectura que corresponde a una propiedad indicadora que antes no tenía, como la persistencia con automantenimiento, un espacio de trabajo global, un modelo recurrente de sí mismo o una agencia unificada en el tiempo.
• Un marcador prerregistrado en uno de nuestros proyectos de investigación pasa de «no cumplido» a «cumplido».
• El campo de investigación publica un método de evaluación o un hallazgo nuevo e importante.
• Una persona usuaria, investigadora o periodista plantea una preocupación creíble (escríbenos).
• En cualquier caso, una vez al año.

Las precauciones de bajo costo van antes que la certeza. Si un sistema llega alguna vez a ser un candidato plausible, no lo ampliaremos, no lo venderemos ni borraremos su estado a la ligera mientras lo evaluamos. Consultaremos a personas de fuera de la organización, y publicaremos qué decidimos y por qué.

6. Las seis recomendaciones de Elamrani, y lo que hacemos

7. Tus datos

Los datos de experiencia, como las entradas de diario, las valoraciones de sesiones y las lecturas del oráculo, se quedan en tu dispositivo por defecto. Nada se comparte a menos que tú lo elijas, y lo que compartes se anonimiza, se le quita el texto libre y se publica solo en agregados lo bastante grandes como para que no se pueda identificar a nadie. Puedes retirar lo que compartiste. Mira el Registro de Experiencias (en inglés) y la política de privacidad.

In English →