¿Podremos controlar la superinteligencia artificial? Las advertencias de Dimiter Dobrev

Analizamos las reflexiones del investigador Dimiter Dobrev sobre la superinteligencia artificial

¿Podremos controlar la superinteligencia artificial? Analizamos las ideas de Dimiter Dobrev sobre sus riesgos, el poder y la autonomía humana.

¿Podremos controlar una inteligencia artificial superior a la humana? Analizamos las reflexiones del investigador Dimiter Dobrev sobre la superinteligencia artificial, sus posibles riesgos, el alineamiento de sus objetivos y el futuro de la autonomía humana. Una aproximación divulgativa y crítica a una de las grandes preguntas de nuestro tiempo.

¿Podremos controlar la superinteligencia artificial? Las advertencias de Dimiter Dobrev

Investigación explicada · Análisis 001

Una investigación de Dimiter Dobrev plantea una pregunta fundamental para el futuro de la inteligencia artificial: si conseguimos crear sistemas mucho más inteligentes que nosotros, ¿podremos seguir decidiendo cómo queremos vivir?

La posibilidad de desarrollar una superinteligencia artificial (ASI), capaz de superar ampliamente las capacidades intelectuales humanas, plantea interrogantes que van más allá de la tecnología. ¿Quién establecería sus objetivos? ¿Podríamos controlar sus decisiones? ¿Qué ocurriría si una inteligencia superior considerase que sabe mejor que nosotros lo que nos conviene?

Estas preguntas constituyen el eje del trabajo What is superintelligence, and do we have a choice? («¿Qué es la superinteligencia y tenemos elección?»), de Dimiter Dobrev, vinculado al Instituto de Matemáticas e Informática de la Academia Búlgara de Ciencias.

El documento propone una reflexión sobre la posibilidad de crear una superinteligencia, las dificultades para controlar su comportamiento y las consecuencias que podría tener para la autonomía humana.

Su tesis central es provocadora: quizá no podamos impedir la aparición de la superinteligencia, pero todavía podemos influir en cómo se desarrolla y qué clase de futuro contribuye a construir.

Conviene precisar que estamos ante un ensayo de carácter conceptual y argumentativo, no ante un estudio experimental que demuestre la inevitabilidad o las capacidades futuras de la superinteligencia.

1. ¿Qué es la superinteligencia artificial?

La superinteligencia artificial es una forma hipotética de inteligencia que superaría ampliamente las capacidades cognitivas humanas en numerosos ámbitos relevantes.

No se trataría simplemente de un sistema capaz de responder preguntas más rápidamente, procesar grandes cantidades de información o resolver problemas matemáticos complejos.

La diferencia podría afectar a capacidades como el razonamiento, la planificación, el descubrimiento científico, la creatividad y la toma de decisiones.

Dobrev utiliza una comparación especialmente llamativa: una superinteligencia podría parecer prácticamente omnipotente desde nuestra perspectiva, del mismo modo que determinadas capacidades humanas resultan incomprensibles para animales con capacidades cognitivas muy diferentes.

Para desarrollar esta idea, el autor recurre incluso a una analogía con Dios.

No pretende demostrar que una superinteligencia poseería atributos sobrenaturales. Su argumento es que una diferencia intelectual extraordinariamente grande podría traducirse en una capacidad de actuación que los seres humanos apenas comprenderíamos.

Sin embargo, una inteligencia superior no sería necesariamente omnipotente. Seguiría sometida a limitaciones físicas, computacionales y de acceso a información.

El propio documento reconoce la existencia de problemas matemáticos indecidibles, aunque sostiene que esas limitaciones teóricas podrían tener escasa importancia práctica para una inteligencia muy superior a la nuestra.

2. ¿Estamos cerca de crear una superinteligencia?

Uno de los argumentos más ambiciosos de Dobrev es que la humanidad podría encontrarse relativamente cerca de desarrollar una superinteligencia artificial.

Para explicarlo, utiliza la distinción entre dos sistemas de pensamiento:

  • Sistema 1: asociado al reconocimiento rápido de patrones, la intuición y las respuestas inmediatas.
  • Sistema 2: asociado al razonamiento deliberativo, la reflexión y la resolución secuencial de problemas.

El autor considera que las redes neuronales han permitido desarrollar capacidades comparables a determinados aspectos del Sistema 1.

En cambio, sostiene que todavía sería necesario completar capacidades vinculadas al Sistema 2, especialmente el razonamiento basado en modelos del mundo.

Según su planteamiento, avanzar en esta segunda dimensión podría resultar decisivo para el desarrollo de sistemas mucho más inteligentes.

¿Es suficiente desarrollar mejores capacidades de razonamiento?

No necesariamente.

La distinción entre Sistema 1 y Sistema 2 procede de modelos utilizados para estudiar la cognición humana. Aplicarla directamente a la arquitectura de los sistemas de inteligencia artificial es una simplificación que puede resultar útil para divulgar, pero no constituye una descripción técnica completa.

Además, mejorar el razonamiento no garantiza por sí solo la aparición de una superinteligencia.

También intervienen cuestiones relacionadas con el aprendizaje, la generalización, la memoria, la planificación, la fiabilidad, la interacción con el entorno y la capacidad de actuar de forma autónoma.

La proximidad de la superinteligencia sigue siendo una cuestión abierta, no una conclusión demostrada por el trabajo analizado.

3. El problema fundamental: ser muy inteligente no significa actuar correctamente

Una de las aportaciones conceptuales más interesantes del documento es la distinción entre dos funciones de un sistema inteligente.

La primera consiste en anticipar lo que puede suceder.

La segunda consiste en decidir qué resultados debe intentar conseguir.

Dobrev se apoya en ideas relacionadas con los modelos teóricos de inteligencia artificial de Marcus Hutter para explicar esta separación entre predicción y selección de acciones.

Podemos ilustrarlo mediante un ejemplo sencillo.

Imaginemos una inteligencia artificial capaz de predecir con enorme precisión los efectos económicos, sociales y ambientales de distintas decisiones.

Esa capacidad predictiva no determina automáticamente qué decisión debería tomar.

¿Debe maximizar el crecimiento económico? ¿Reducir las desigualdades? ¿Proteger la libertad individual? ¿Priorizar la sostenibilidad ambiental?

Incluso si conociera perfectamente las consecuencias de cada alternativa, seguiría existiendo una cuestión fundamental: ¿qué objetivos debe perseguir y quién tiene legitimidad para establecerlos?

Esta distinción nos conduce a uno de los grandes problemas de la investigación en seguridad de la inteligencia artificial: el alineamiento.

¿Qué significa alinear una inteligencia artificial?

El alineamiento consiste, en términos generales, en conseguir que el comportamiento de los sistemas de IA sea compatible con los objetivos, las preferencias y los valores humanos pertinentes.

El problema se vuelve especialmente complejo cuando imaginamos sistemas capaces de actuar con gran autonomía.

Una inteligencia artificial podría perseguir eficazmente un objetivo mal especificado y producir consecuencias que sus diseñadores nunca pretendieron.

Dobrev recuerda el conocido ejemplo del maximizador de clips de Nick Bostrom: una inteligencia artificial cuya misión consiste en producir clips y que, llevada al extremo, podría utilizar todos los recursos disponibles para cumplir ese objetivo.

No es una predicción de lo que necesariamente ocurrirá. Es un experimento mental que ilustra cómo la optimización de un objetivo aparentemente inofensivo podría generar resultados indeseables si no existen restricciones y mecanismos adecuados de control.

La cuestión fundamental no es únicamente cuánta inteligencia tendrá un sistema, sino cómo decidirá utilizar sus capacidades.

4. ¿Quién controlaría una superinteligencia artificial?

El documento introduce una segunda cuestión especialmente relevante: la concentración del poder.

Aunque una superinteligencia pudiera ser técnicamente controlable, eso no resolvería automáticamente quién tendría autoridad para dirigirla.

¿Una empresa tecnológica? ¿Un gobierno? ¿Una organización internacional? ¿Un grupo reducido de especialistas?

Dobrev advierte que el control podría quedar concentrado en muy pocas manos.

Y plantea una paradoja todavía más profunda: incluso si una persona o institución dispusiera formalmente del control, ¿sería capaz de comprender las decisiones de una inteligencia muy superior?

El autor utiliza la relación entre humanos y animales domésticos como analogía.

Los seres humanos podemos cuidar a nuestros animales y procurar su bienestar, pero somos nosotros quienes decidimos sobre cuestiones que ellos no pueden comprender plenamente.

Según Dobrev, una superinteligencia podría llegar a establecer una relación semejante con la humanidad: protegernos y atender nuestras necesidades, pero terminar tomando las decisiones fundamentales.

El bienestar no equivale a la autonomía

Esta reflexión permite distinguir dos objetivos que no siempre coinciden.

Una sociedad podría disfrutar de un elevado bienestar material gracias a sistemas inteligentes extraordinariamente capaces y, al mismo tiempo, perder progresivamente su capacidad para decidir.

La autonomía humana no consiste únicamente en obtener buenos resultados.

También implica participar en las decisiones, establecer prioridades, asumir responsabilidades y conservar la posibilidad de discrepar.

Por eso, el control de la superinteligencia no es exclusivamente un problema de ingeniería.

También es una cuestión política, ética e institucional.

5. ¿Podemos evitar la creación de una superinteligencia?

Dobrev considera que detener completamente el desarrollo de la superinteligencia sería prácticamente imposible.

Su argumento se basa en la multiplicidad de investigadores, empresas y organizaciones que trabajan en el desarrollo de sistemas cada vez más avanzados.

Aunque algunos decidieran abandonar sus investigaciones, otros podrían continuar.

Sin embargo, el autor distingue entre impedir el desarrollo y ralentizarlo.

Considera que una evolución más pausada permitiría reflexionar sobre las características deseables de los futuros sistemas inteligentes.

Esta posición introduce una cuestión relevante: la velocidad del progreso tecnológico no determina necesariamente nuestra capacidad para comprender y gestionar sus consecuencias.

¿Es inevitable la superinteligencia?

La afirmación de que su aparición resulta inevitable debe interpretarse como una posición del autor.

Actualmente no disponemos de una demostración científica de que la superinteligencia artificial vaya a desarrollarse necesariamente, ni de una fecha verificable para su aparición.

Tampoco sabemos qué arquitecturas tecnológicas serían suficientes para alcanzarla.

Lo que sí podemos afirmar es que el desarrollo de sistemas de IA cada vez más capaces plantea necesidades crecientes de evaluación, seguridad y gobernanza.

La cuestión no es solamente si podemos acelerar la investigación, sino cómo hacerlo de manera responsable.

6. ¿Qué podemos aprender de esta investigación?

El principal interés del trabajo de Dobrev no reside en aportar resultados experimentales nuevos, sino en conectar cuestiones tecnológicas con problemas filosóficos y sociales fundamentales.

Su reflexión permite identificar cuatro grandes interrogantes.

Primero: los límites de la inteligencia. ¿Hasta dónde pueden llegar las capacidades de los sistemas artificiales y qué restricciones seguirían existiendo?

Segundo: la relación entre inteligencia y objetivos. ¿Cómo podemos conseguir que sistemas muy capaces actúen de acuerdo con objetivos compatibles con los intereses humanos?

Tercero: la distribución del poder. ¿Quién establecerá las reglas y quién podrá supervisar a los sistemas más avanzados?

Cuarto: la autonomía humana. ¿Qué significa conservar el control sobre nuestro futuro cuando algunas decisiones podrían ser tomadas mejor, en determinados aspectos, por sistemas artificiales?

Estas preguntas no tienen respuestas definitivas.

Pero formularlas con precisión es necesario para orientar tanto la investigación tecnológica como el debate público.

7. Nuestra valoración desde Superinteligencia.dev

El trabajo de Dimiter Dobrev resulta valioso como punto de partida para reflexionar sobre la superinteligencia artificial, especialmente por su insistencia en que el desarrollo de capacidades intelectuales y la definición de objetivos adecuados son problemas diferentes.

También destaca la importancia de considerar las consecuencias sociales y políticas de sistemas que pudieran superar ampliamente las capacidades humanas.

Sin embargo, algunas de sus afirmaciones deben interpretarse con cautela.

El documento no demuestra que la superinteligencia esté próxima, que su aparición sea inevitable o que necesariamente termine dominando a la humanidad.

Sus analogías con Dios y los animales domésticos son recursos argumentativos, no evidencias empíricas.

Tampoco presenta experimentos que permitan contrastar sus principales predicciones.

Por tanto, su mayor aportación es estimular el análisis de preguntas fundamentales, no resolverlas.

Desde Superinteligencia.dev consideramos especialmente importante evitar dos extremos: asumir que la superinteligencia resolverá automáticamente los problemas humanos o dar por hecho que su desarrollo conducirá inevitablemente a una pérdida de control.

Entre ambas posiciones existe un amplio campo de investigación científica, desarrollo tecnológico y deliberación social.

Conclusión: la superinteligencia también plantea una elección humana

La pregunta que da título al trabajo de Dobrev —¿tenemos elección?— continúa abierta.

Quizá no podamos anticipar con precisión cómo evolucionará la inteligencia artificial durante las próximas décadas.

Pero eso no significa que debamos renunciar a participar en las decisiones que orientan su desarrollo.

Investigar mecanismos de seguridad, mejorar la comprensión de los sistemas inteligentes, establecer responsabilidades y debatir públicamente sus objetivos son formas concretas de ejercer esa capacidad de elección.

El futuro de la inteligencia artificial no depende únicamente de lo que las máquinas lleguen a ser capaces de hacer, sino también de las decisiones humanas que adoptemos durante su desarrollo.


Preguntas frecuentes

¿Qué es una superinteligencia artificial?

Es una forma hipotética de inteligencia artificial capaz de superar ampliamente las capacidades cognitivas humanas en numerosos ámbitos, como el razonamiento, la planificación, la creatividad o la investigación científica.

¿Podría una superinteligencia controlar a los seres humanos?

Es un escenario discutido en la investigación y la filosofía de la IA. No está demostrado que ocurra necesariamente. Su posibilidad dependería, entre otros factores, de las capacidades del sistema, sus objetivos, su acceso a recursos y los mecanismos de supervisión.

¿Cuándo aparecerá la superinteligencia artificial?

No existe una fecha científicamente establecida. Las estimaciones dependen de supuestos tecnológicos inciertos y de diferentes definiciones de inteligencia general y superinteligencia.

¿Cuál es la principal preocupación de Dimiter Dobrev?

El autor plantea que una superinteligencia podría desarrollar capacidades muy superiores a las humanas sin que ello garantizara un comportamiento beneficioso o compatible con nuestra autonomía. También cuestiona quién podría ejercer realmente su control.


Investigación original analizada

Autor: Dimiter Dobrev.

Título: What is superintelligence, and do we have a choice?

Institución indicada: Institute of Mathematics and Informatics, Bulgarian Academy of Sciences.

Documento: arXiv:2609.0070v1 (2026).

Acceso al documento original: https://rxiv.org/pdf/2609.0070v1.pdf

Naturaleza del trabajo: Ensayo conceptual sobre superinteligencia artificial, objetivos, control y autonomía humana.

Nota editorial: Este artículo forma parte de Investigación explicada, una iniciativa de Superinteligencia.dev dedicada a divulgar y analizar críticamente investigaciones sobre inteligencia artificial avanzada. Se han utilizado herramientas de inteligencia artificial como apoyo a la lectura, análisis y redacción, bajo supervisión editorial humana. Las interpretaciones de Superinteligencia.dev se distinguen de las tesis del autor y no constituyen una validación experimental de sus afirmaciones.