El Laboratorio de Superinteligencia.dev convierte preguntas sobre inteligencia artificial en experimentos que podamos observar, comparar y, siempre que sea posible, reproducir.
Conoce el Laboratorio de Superinteligencia.dev: experimentos reproducibles sobre capacidades, agentes, autonomía y evolución de la inteligencia artificial.
Experimentar para comprender cómo evoluciona la inteligencia artificial
El Laboratorio de Superinteligencia.dev convierte preguntas sobre inteligencia artificial en experimentos que podamos observar, comparar y, siempre que sea posible, reproducir.
Queremos estudiar cómo evolucionan las capacidades de los sistemas de inteligencia artificial mediante algo más que predicciones, demostraciones seleccionadas o afirmaciones de sus desarrolladores.
Queremos probarlos.
Razonamiento, planificación, memoria, autoevaluación, utilización de herramientas, agentes, sistemas multiagente, autonomía y colaboración humano-IA son algunos de los fenómenos que investigaremos experimentalmente.
Cada proyecto del Laboratorio parte de una pregunta concreta.
¿Puede una IA detectar y corregir sus propios errores?
¿Mejora su rendimiento cuando planifica antes de actuar?
¿Qué cambia cuando dispone de memoria?
¿Varios agentes especializados pueden resolver mejor determinados problemas que un único sistema?
¿Dónde continúa aportando valor la intervención humana?
No pretendemos resolver con pequeños experimentos las grandes preguntas sobre el futuro de la inteligencia artificial.
Pretendemos algo más concreto:
observar, medir, comparar y aprender.
De una pregunta a un experimento
Cada investigación experimental se publicará como un proyecto identificado mediante la denominación LAB y una numeración correlativa.
LAB 001
LAB 002
LAB 003
…
Esta numeración permitirá construir progresivamente un archivo de experimentos y, cuando resulte útil, volver sobre investigaciones anteriores.
Un LAB debería comenzar con una pregunta suficientemente concreta como para poder investigarla.
A partir de ella estableceremos, cuando corresponda:
Pregunta de investigación → Hipótesis → Método → Experimento → Resultados → Interpretación → Limitaciones → Reproducibilidad
No todos los proyectos necesitarán exactamente la misma metodología. Experimentar con memoria no es equivalente a comparar sistemas multiagente o estudiar colaboración entre personas e IA.
Pero todos deberán compartir un principio:
explicar con suficiente claridad qué hemos hecho para poder valorar qué significan realmente los resultados.
Qué investigamos
Los experimentos estarán vinculados con las áreas de Investigación de Superinteligencia.dev.
Capacidades
Diseñaremos pruebas para estudiar capacidades concretas de los sistemas y sus limitaciones.
Podremos comparar razonamiento, planificación, resolución de problemas, programación, utilización de herramientas u otras capacidades entre diferentes modelos y generaciones.
Nos interesará especialmente descubrir no solo cuándo funcionan, sino también cuándo dejan de hacerlo.
Agentes y autonomía
Estudiaremos qué ocurre cuando los sistemas dejan de limitarse a producir una respuesta y empiezan a perseguir objetivos mediante sucesivas acciones.
Podremos experimentar con planificación, utilización de herramientas, duración de tareas, delegación, coordinación y colaboración entre agentes.
A medida que aumente su autonomía, será especialmente importante observar cómo se acumulan los errores y qué mecanismos de supervisión resultan eficaces.
Memoria, aprendizaje y autoevaluación
Investigaremos hasta qué punto un sistema puede utilizar información procedente de interacciones anteriores, evaluar sus propias respuestas, identificar errores y mejorar resultados mediante procesos de revisión.
La capacidad de corregir una respuesta no implica necesariamente que el sistema esté aprendiendo de manera permanente.
Precisamente una de nuestras tareas será diferenciar fenómenos que pueden parecer similares pero no son equivalentes.
Sistemas multiagente
Un conjunto de sistemas puede comportarse de manera diferente a cada uno de sus componentes por separado.
Experimentaremos con especialización, división del trabajo, debate, cooperación, supervisión mutua y otras formas de organización entre agentes.
La pregunta no será simplemente si utilizar más agentes produce mejores resultados.
Nos interesará comprender cuándo, por qué y a qué coste puede hacerlo.
Humanos e inteligencia artificial
Algunos experimentos compararán sistemas autónomos con diferentes formas de colaboración humano-IA.
Podremos estudiar cuándo la intervención humana mejora los resultados, qué tareas conviene delegar, dónde resulta necesaria la supervisión y qué configuraciones permiten combinar mejor las capacidades de personas y máquinas.
No asumimos que mayor autonomía implique necesariamente mejores resultados.
Nuestro método
El Laboratorio aplicará una metodología proporcional a cada pregunta de investigación.
Siempre que sea posible, un LAB documentará los siguientes elementos.
1. Pregunta de investigación
¿Qué queremos averiguar?
La pregunta debe ser suficientemente específica para permitir un experimento y suficientemente relevante para aportar conocimiento sobre las capacidades o limitaciones de los sistemas estudiados.
2. Hipótesis
Cuando corresponda, formularemos anticipadamente qué resultado esperamos observar.
Esto ayuda a diferenciar una predicción previa de una explicación construida después de conocer los resultados.
3. Sistemas utilizados
Identificaremos los modelos, herramientas y configuraciones relevantes para interpretar el experimento.
Cuando sea posible indicaremos también la versión o fecha de acceso, porque los sistemas de inteligencia artificial pueden cambiar con el tiempo incluso conservando una misma denominación comercial.
4. Procedimiento
Explicaremos las instrucciones, tareas, condiciones y criterios utilizados.
Cuando resulte apropiado publicaremos los materiales necesarios para repetir el experimento.
5. Resultados
Presentaremos los resultados obtenidos procurando separar los datos de nuestra interpretación.
Un resultado inesperado no constituye un experimento fallido.
Puede ser precisamente aquello que más necesitamos comprender.
6. Interpretación
Analizaremos qué permiten concluir los resultados y qué explicaciones alternativas pueden existir.
Evitaremos generalizar más allá de lo que permita el diseño experimental.
7. Limitaciones
Todo experimento tiene límites.
Tamaño de la muestra, selección de tareas, variabilidad de los modelos, dependencia de instrucciones concretas, evaluaciones subjetivas o modificaciones introducidas por los proveedores pueden afectar a los resultados.
Documentar estas limitaciones forma parte del experimento.
8. Reproducibilidad
Siempre que resulte viable proporcionaremos información suficiente para que otras personas puedan repetir la prueba.
Cuando no sea posible una reproducción completa —por ejemplo, porque un modelo haya cambiado— intentaremos facilitar al menos la reproducción del procedimiento.
Evaluar también al evaluador
Experimentar con inteligencia artificial introduce un problema especialmente interesante:
¿quién determina si una respuesta es correcta o mejor que otra?
En algunas tareas existe una respuesta verificable.
En otras necesitaremos evaluación humana, criterios previamente definidos, herramientas externas o sistemas adicionales de inteligencia artificial.
Utilizar una IA para evaluar a otra IA puede resultar útil, pero también introducir sesgos y errores.
Por eso indicaremos, cuando sea relevante, cómo se ha realizado la evaluación y qué limitaciones tiene el evaluador.
Cuando una conclusión dependa de un juicio humano, también lo haremos explícito.
Inteligencia artificial investigando inteligencia artificial
Los propios sistemas de IA podrán participar en nuestros experimentos.
Podrán actuar como objeto de estudio, herramienta de análisis, programador, generador de hipótesis, agente experimental o incluso evaluador bajo determinadas condiciones.
Esta participación deberá documentarse cuando afecte a la interpretación de los resultados.
Pero existe una distinción fundamental:
utilizar inteligencia artificial durante una investigación no transfiere a la máquina la responsabilidad sobre la investigación.
El diseño, la interpretación y las conclusiones permanecerán bajo supervisión y responsabilidad humana.
Experimentos longitudinales
Una de las posibilidades más interesantes del Laboratorio será repetir determinados experimentos con nuevas generaciones de sistemas.
Supongamos que diseñamos en 2026 un protocolo para estudiar la capacidad de una IA para detectar y corregir sus propios errores.
Podemos repetirlo posteriormente.
El mismo protocolo aplicado a sistemas diferentes puede permitirnos observar cambios en capacidades, limitaciones y comportamiento.
Algunos LAB podrán convertirse así en experimentos longitudinales sobre la evolución de la inteligencia artificial.
No estudiaremos únicamente una fotografía.
Intentaremos construir también una serie temporal.
Resultados negativos también son resultados
Superinteligencia.dev no pretende demostrar que la inteligencia artificial avanza inevitablemente hacia sistemas cada vez más generales o autónomos.
Un experimento puede mostrar que una técnica no mejora los resultados.
Un sistema multiagente puede funcionar peor que un único modelo.
La memoria puede introducir información irrelevante.
La autoevaluación puede reforzar un error en lugar de corregirlo.
La intervención humana puede superar ampliamente a una configuración autónoma.
Estos resultados también aportan conocimiento.
El Laboratorio no existe para demostrar una tesis previa. Existe para poner preguntas a prueba.
Qué puede demostrar un LAB
Un experimento permite obtener evidencia dentro de unas condiciones determinadas.
Si un modelo resuelve correctamente una tarea, podemos documentar que la resolvió utilizando determinado procedimiento y bajo determinadas condiciones.
Eso no demuestra automáticamente que posea una capacidad general equivalente.
Del mismo modo, observar un comportamiento en un modelo concreto no permite atribuirlo a todos los sistemas de inteligencia artificial.
Seremos especialmente prudentes al utilizar conceptos como razonamiento, comprensión, autonomía, aprendizaje o inteligencia.
Una observación experimental y una afirmación sobre la naturaleza de la inteligencia no son lo mismo.
Niveles de evidencia
Para facilitar la interpretación de nuestros contenidos diferenciaremos, cuando resulte pertinente, entre:
Evidencia consolidada
Resultados respaldados suficientemente por investigación y reproducción.
Evidencia emergente
Resultados empíricos recientes que requieren todavía mayor confirmación.
Resultado experimental
Observaciones obtenidas mediante un LAB de Superinteligencia.dev.
Hipótesis
Una explicación o posibilidad susceptible de investigación que todavía no ha sido demostrada.
Predicción
Una afirmación sobre una posible evolución futura.
Especulación
Una posibilidad conceptualmente interesante para la que todavía no disponemos de evidencia suficiente.
Un resultado obtenido en nuestro Laboratorio será presentado como lo que es:
un resultado experimental propio, no como evidencia científica consolidada por el mero hecho de haberlo observado.
Transparencia y corrección
Documentaremos nuestros experimentos con el objetivo de que puedan ser examinados críticamente.
Si descubrimos errores metodológicos o de interpretación relevantes, los corregiremos.
Cuando una modificación afecte sustancialmente a las conclusiones de un LAB, procuraremos dejar constancia de la revisión.
También diferenciaremos entre la fecha de publicación y, cuando corresponda, la última revisión.
La transparencia no elimina los errores.
Permite detectarlos y aprender de ellos.
Un laboratorio que aprenderá a investigar
Superinteligencia.dev comienza deliberadamente con experimentos asumibles.
No pretendemos simular desde el primer día la infraestructura de un gran centro de investigación.
Construiremos metodología, herramientas, conjuntos de pruebas y conocimiento progresivamente.
Los primeros LAB serán relativamente sencillos.
Los siguientes podrán aprovechar lo aprendido en los anteriores.
Con el tiempo podremos comparar resultados, repetir experimentos, desarrollar pequeñas colecciones de datos y construir protocolos propios.
El propio Laboratorio será, por tanto, un experimento en evolución.
Nuestro primer objetivo
Queremos empezar por una capacidad aparentemente sencilla pero fundamental:
¿Puede una inteligencia artificial mejorar sus propias respuestas mediante autoevaluación?
Esta pregunta dará origen a LAB 001.
Compararemos respuestas iniciales con respuestas sometidas a procesos estructurados de crítica y revisión, definiendo previamente cómo evaluaremos si realmente existe una mejora.
Será un experimento pequeño.
Pero establece exactamente la dirección que queremos seguir:
formular una pregunta, diseñar cómo comprobarla, observar los resultados y dejar que la evidencia determine qué podemos concluir.
Así empieza el Laboratorio de Superinteligencia.dev.
Nota editorial: Superinteligencia.dev utiliza sistemas de inteligencia artificial tanto como objeto de investigación como herramienta de apoyo en determinados procesos de análisis, programación, experimentación y elaboración de contenidos. Su utilización se documentará cuando sea relevante para interpretar o reproducir un experimento. El diseño metodológico, la revisión de resultados, su interpretación y las conclusiones publicadas permanecen bajo dirección, supervisión y responsabilidad humana.