DOI: https://doi.org/10.56712/latam.v6i5.4811
Principios para gobernar la Inteligencia General Artificial (AGI): Mitigar los riesgos y garantizar el desarrollo
responsable
Principles for
governing Artificial General Intelligence (AGI): Mitigating risks and ensur=
ing
responsible development
Pablo Corona Fraga[1]<=
/b>
https://orcid.org/0000-0001-5012-9468
Centro de
Investigación e Innovación en Tecnologías de la
Información y la Comunicación INFOTEC
Ciudad de
México – México
Vanessa Díaz
https://orcid.org/0000-0002-7186-8785
Oficial de
Investigación Jurídica de la Suprema Corte de Justicia de la
Nación
Ciudad de
México – México
Artículo recibido: 15 de julio de
2025. Aceptado para publicación: 14 de noviembre de 2025.
Conflictos de Interés: Ninguno que declarar.
Resumen
El rápido desarrollo de modelos fundacionales y su creciente
autonomía demandan una gobernanza capaz de anticipar y mitigar los
riesgos de una posible Inteligencia Artificial General (AGI).
Este estudio propone un marco de principios e indicadores de gobernanza para
alinear el desarrollo de sistemas avanzados con valores sociales y marcos
internacionales. La metodología combina tres enfoques: (i)
revisión sistemática de literatura para identificar brechas y
buenas prácticas en gobernanza de IA; (ii)
triangulación normativa de principios y controles de marcos
internacionales, como los de la OCDE; y (iii)
síntesis empírica de métricas de evaluación
aplicadas a modelos fundacionales. Los resultados ofrecen un marco basado en
siete principios: transparenc=
ia,
responsabilidad, beneficencia/no maleficencia, equidad, control humano
significativo, robustez/seguridad y colaboración multiactor.
Asimismo, se proponen indicadores verificables –como trazabilidad de
decisiones, cobertura de pruebas, degradación bajo estrés,
monitoreo post-despliegue, y adopción de
estándares-- que fortalecen la rendición de cuentas y reducen=
el
resigo residual. La evidencia comparada muestra que los procesos de
evaluación continua y reportes de transparencia mejoran la
detectabilidad de fallos y la seguridad del sistema. Finalmente, el modelo
ofrece una base metodológica para reguladores y organizaciones mapeen
riesgos técnicos y organizacionales con obligaciones de auditor&iacu=
te;a
y gestión. En conjunto, el marco propuesto facilita la transici&oacu=
te;n
de los principios a la práctica, promoviendo una gobernanza medible,
trazable y efectiva para el desarrollo seguro y alineado de la IA avanzada.=
Palabras clave: inteligencia
artificial, gobernanza, ética, riesgo
Abstract
The rapid development of foundational models and their growing auton=
omy
demand governance capable of anticipating and mitigating the risks of a pos=
sible
Artificial General Intelligence (AGI). This study proposes a framework of
governance principles and indicators to align the development of advanced
systems with social values and international frameworks. The methodology
combines three approaches: (i) a systematic
literature review to identify gaps and best practices in AI governance; (ii=
) a
normative triangulation of principles and controls from international
frameworks, such as those of the OECD; and (iii) an empirical synthesis of
evaluation metrics applied to foundational models. The results offer a
framework based on seven principles: transparency, accountability,
beneficence/non-maleficence, fairness, meaningful human control,
robustness/safety, and multi-stakeholder collaboration. Verifiable indicato=
rs
are also proposed—such as decision traceability, test coverage,
degradation under stress, post-deployment monitoring, and adoption of
standards—that strengthen accountability and reduce residual risk.
Comparative evidence shows that continuous evaluation processes and
transparency reporting improve fault detectability and system safety. Final=
ly,
the model provides a methodological basis for regulators and organizations =
to
map technical and organizational risks to audit and management obligations.=
Taken
together, the proposed framework facilitates the transition from principles=
to
practice, promoting measurable, traceable, and effective governance for the
safe and aligned development of advanced AI.
Keywords: artificial
intelligence, governance, ethics, risk
<= o:p>
<= o:p>
<= o:p>
<= o:p>
<= o:p>
<= o:p>
<= o:p>
<= o:p>
<= o:p>
Todo el contenido de LATAM Revista Latinoamerica=
na
de Ciencias Sociales y Humanidades, publicado en este sitio está
disponibles bajo Licencia Creative Commons.=
![](3D"1394_CoronaFraga_archivos/image004.jpg")
<=
o:p>
C=
ómo
citar: Corona Fraga, P., &
Díaz, V. (2025). Principios para gobernar la Inteligencia General
Artificial (AGI): Mitigar los riesgos y garanti=
zar el
desarrollo responsable: Principles for governing Artificial =
General Intelligence (AGI). LATAM Revista Latinoamericana de Cienc=
ias
Sociales y Humanidades 6 (5), 3249 – 3268. https://doi.org/10.56712/<=
span
class=3DSpellE>latam.v6i5.4811
INTRODUCCIÓN
La inteligencia artificial general (AGI, por sus siglas en inglés) se refiere a un
sistema hipotético que poseería la capacidad de comprender,
aprender y aplicar conocimientos en una amplia variedad de dominios cogniti=
vos
al nivel de un ser humano promedio. Estos sistemas serían capaces de
transferir habilidades y razonamiento entre tareas distintas sin necesidad =
de
reprogramación específica, adaptándose a entornos nuev=
os y
desconocidos con una autonomía sustancial. En contraste con las IA
especializadas (IA débil), que funcionan dentro de límites
predefinidos, la AGI aspira a exhibir amplitud y
flexibilidad cognitivas comparables a las humanas, operando como entidades
integradas de inteligencia generalizada.
A partir de una revisión de la literatu=
ra
existente se identificaron y agruparon las brechas actuales de la AGI. Los rápidos avances en la investigaci&oac=
ute;n
y el desarrollo de AGI han hecho imperativo abo=
rdar
sus riesgos inherentes, que podrían colocarnos en escenarios con
consecuencias imprevistas e indeseables. De ahí que, el objetivo de =
este
artículo sea, por un lado, analizar los riesgos multifacéticos
asociados con AGI y aplicar principios ampliame=
nte
reconocidos como transparencia, responsabilidad, beneficencia, no maleficen=
cia,
equidad y control. Además, de introducir nuevos principios (robustez=
y
seguridad) junto con desafíos y posibles soluciones; y, por el otro,
proponer un conjunto coherente de principios para gobernar la AGI, mitigando estos riesgos y previniendo comportami=
entos
o resultados fuera de control.
Los principios propuestos sirven como base para
desarrollar un marco de gobernanza AGI má=
;s
responsable y efectivo que busque maximizar sus beneficios al tiempo que
minimiza los riesgos que amenazan la vida y el potencial de resultados no
controlados. Este estudio proporciona información sobre (a) un conju=
nto
de principios de gobernanza que pueden mitigar eficazmente el riesgo
potencialmente mortal que representa la AGI; (b)
prácticas actuales de gobernanza de IA con nuevas acciones
específicas de AGI para un marco s&oacut=
e;lido
capaz de prevenir comportamientos AGI fuera de
control; y c) la posibilidad de que la comunidad internacional pueda dirigi=
r el
desarrollo y la implantación de la AGI de
manera que se ajuste a los valores humanos y promueva el bienestar mundial.
Además, el estudio enfatiza el llamado a la acción colectiva =
de
la academia, la industria y los gobiernos para adoptar estos principios,
fomentando la integración segura de AGI =
en la
sociedad. También destaca áreas para futuras investigaciones =
para
garantizar que la gobernanza de AGI evolucione =
al
ritmo de la naturaleza dinámica de las tecnologías de AGI.
Estos principios rectores deben considerarse c=
omo
parte del diseño de cualquier sistema de inteligencia artificial,
incluidos también los principios de ciberseguridad. Los modelos basa=
dos
en IA pueden mejorar la capacidad de predecir, detectar y responder a las
amenazas cibernéticas. Por otro lado, el propio desarrollo de AGI introduce nuevas superficies de ataque y riesgos,=
lo
que requiere una adhesión aún mayor a los pilares de
ciberseguridad: confidencialidad, integridad y disponibilidad.
La integridad es particularmente crucial cuand=
o se
considera la gobernanza de AGI. Pues la AGI, como agente inteligente capaz de aprender, tomar
decisiones y evolucionar de forma independiente, puede encontrar escenarios=
en
los que opera de manera impredecible o se desalinea con los objetivos human=
os
previstos. Esta desalineación puede enmarcarse como una pérdi=
da
de integridad en el sistema.
Considerando esta necesidad de establecer
principios para que la AGI mitigue sus riesgos y
garantice su desarrollo responsable, este documento cubre: los trabajos sob=
re
la necesidad de un marco de gobernanza de la AGI; una
visión general de las iniciativas y tratados mundiales para regular =
la AGI; una comprensión de los riesgos y
desafíos planteados por el aumento de AGI; los
principios para gobernar la AGI; y su
implementación de los principios con prácticas.
Contexto y
justificación
Según la sociedad moderna, está
experimentando transformaciones sustanciales en el alcance, la velocidad y =
la
naturaleza de los cambios en los ámbitos social, natural y
tecnológico. Esto destaca la necesidad de establecer, crear e
implementar estrategias de gobernanza complementarias para abordar estos
desafíos y trabajar hacia futuros más optimistas. Liu y Maas (2021) [18] proponen que estas estrateg=
ias
deben considerar perspectivas a largo plazo mientras se aplican
políticas prácticas y viables en el presente.
La Inteligencia General Artificial (AGI) representa una de las fronteras más viabl=
es de
la inteligencia artificial (IA) en nuestro futuro más cercano; en el=
que
las máquinas pueden realizar cualquier tarea intelectual que un ser
humano pueda realizar. Esto se debe a la creciente sofisticación de =
los
algoritmos de aprendizaje automático y al crecimiento exponencial de=
la
capacidad computacional. De ahí nuestro interés en explorar l=
as
implicaciones éticas, sociales y existenciales de la AGI.
Junto con su inmenso potencial, AGI plantea riesgos significativos. La perspectiva de
máquinas con inteligencia sobrehumana plantea serias preocupaciones
sobre el control y la seguridad. En un escenario desfavorable, AGI podría actuar de manera perjudicial para la
humanidad, ya sea por su falta de alineación con los valores humanos=
, su
incapacidad para comprender decisiones éticas complejas o las
consecuencias no deseadas de sus acciones. Además, existe el temor de
que una vez que AGI supere la inteligencia huma=
na,
será imposible de controlar, lo que representa un riesgo existencial
para la humanidad.
Reconociendo estos riesgos potenciales, es
importante establecer un marco de gobernanza para AGI<=
/span>,
asegurando su implementación segura y beneficiosa. El objetivo de es=
te
trabajo de investigación es proponer un conjunto de principios para
gobernar el AGI, diseñados para mitigar =
los
riesgos potencialmente mortales y prevenir comportamientos fuera de control.
Creemos que con estos principios podremos guiar el desarrollo y el uso de <=
span
class=3DSpellE>AGI de una manera que se ajuste a los valores humanos=
y
promueva el bienestar de toda la humanidad.
Kurzweil (2005) advierte que la singularidad
tecnológica —el punto en el que la inteligencia de las
máquinas superará la humana y posibilitará una
fusión hombre-máquina— podría transformar
irreversiblemente la existencia humana.
En 2023, un grupo de expertos pidió una
pausa de seis meses en la formación de Grandes Modelos de Lenguaje
basados en inteligencia artificial, para centrarse en sentar las bases de u=
na
regulación adecuada. Esta pausa no ocurrió, y el avance de es=
tas
tecnologías continúa, mientras que las reglas para gobernar u=
n AGI no están claras.
METODOLOGÍA
La metodología contempla tres fases
complementarias: (i) una revisión sistemática con mapeo de
pruebas existentes para detectar vacíos y buenas prácticas en
gobernanza de IA; (ii) una triangulación
normativa que entrelaza principios y mecanismos extraídos de los mar=
cos
de gestión de riesgo de IA contemporáneos con los Principios =
de
la OCDE en IA; y (iii) una síntesis
empírica que extrae métricas y dominios de evaluación a
partir de comparaciones entre modelos fundacionales, con el propósit=
o de
fundamentar indicadores cuantificables de transparencia, explicabilidad,
robustez, seguridad y rendición de cuentas.
Tomando en cuenta las consideraciones
éticas, medidas regulatorias y salvaguardas tecnológicas, este
estudio busca proponer un enfoque holístico para gobernar la AGI, contribuyendo en última instancia a la
integración responsable y beneficiosa de la AGI=
en la sociedad. Como se mencionó en la introducción, la pregu=
nta
central de investigación que guía este estudio es:
¿Cuáles son los componentes y estrategias clave necesarios pa=
ra
desarrollar un marco integral para gobernar la inteligencia artificial gene=
ral
(AGI) para garantizar su implementación =
segura
y beneficiosa?
Esta pregunta tiene como objetivo explorar e
identificar los mecanismos, principios y acciones de gobernanza esenciales
necesarios para abordar los desafíos planteados por AGI.
En concreto, pretende responder a las siguientes sub-p=
reguntas:
<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>●<=
span
style=3D'mso-list:Ignore'>● REFERENCIAS Abhishek, A.,
Erickson, L., & Bandopadhyay, T. (2025). BEATS:
Bias Evaluation and Assessment Test Suite for Large Language Models<=
/i>. arXiv. doi.org/10.48550/arXiv.25=
03.24310
AILAB. (2023).
Propuestas de regulación y recomendaciones de inteligencia artificia=
l en
el mundo: Síntesis de principales aspectos. Propuestas de
regulación y recomendaciones de inteligencia artificial en el mundo:
Síntesis de principales aspectos. Retrieved fro=
m
ttps://ialab.com.ar/wp-content/uploads/2023/08/Propuestas-de-regulacion-y-r=
ecomendaciones-de-IA-en-el-mundo-1.pdf Batool, A., Zowghi, D., & Bano, M.
(2024). Responsible AI Governance: A systematic literature review.
Baum, S. D. (20= 20). Medium-Term Artificial Intelligence and Society. Information, 11, 290. doi:10.3390/info11060290<= o:p>
Blackman, R.
(2022). Ethical Machines: Your Concise Guide to Totally Unbiased, Transpare=
nt,
and Respectful AI. In Amazon. Harvard Business Review Press.
Burton, S.,
Casares, A. P. (2018). The brain of the future and the
viability of democratic governance: The role of artificial intelligence,
cognitive machines, and viable systems. Futures, 103, 5–16. doi:10.1016/j.futures.2018.05.002
Chmielinski, K., Newman, S., Kranzinger<=
/span>,
C. N., Hind, M., Vaughan, J. W., Mitchell, M., Stoyano=
vich,
J., McMillan-Major, A., McReynolds, E., & Esfahany=
,
K. (2024). The CLeAR Documentation Framework for AI
Transparency: Recommendations for Practitioners & Context for Policymak=
ers [Discussion
paper]. Harvard Kennedy School, Shorenstein Center.
https://shorensteincenter.org/clear-documentation-framework-ai-transparency=
-recommendations-practitioners-context-policymakers/
Dobbe, R., Gilbert, T. K., & M=
intz,
Y. (2021). Hard choices in artificial intelligence. Artificial Intelligence,
300, 103555. doi:10.1016/j.artint.2021.103555
Faroldi, C. (2024), Artificial general intelligence and t=
he
EU AI Act: A regulatory mismatch?, AI & Soci=
ety
Friederich, S. (2023). Symbiosis, not alignment, as the goal=
for
liberal democracies in the transition to artificial general intelligence. AI
and Ethics. doi:10.1007/s4=
3681-023-00268-7
Greenstein, S.
(2021). Preserving the rule of law in the era of artificial intelligence (A=
I).
Artificial Intelligence and Law, 30, 291–323. do=
i:10.1007/s10506-021-09294-4
Gunasekara, L. (2025). A systematic review of responsible ar=
tificial
intelligence. MDPI. doi.org/10.3390/asi8040097
Hohma, E. (2023). The need and elements of trusted
development of AI. MDPI. doi.org/10.33=
90/ai4040046
Karnouskos, S. (2021). Symbiosis with artificial intelligence
via the prism of law, robots, and society. Artificial Intelligence and Law,=
30,
93–115. doi:10.1007/=
s10506-021-09289-1
Kilian, K. A.,
Ventura, C. J., & Bailey, M. M. (2023). Examining the differential risk from high-l=
evel
artificial intelligence and the question of control. Futures, 151, 103182. =
doi:10.1016/j.futures.2023.103182
Kuehnert, B., Kim, R. M., Forlizzi,
J., & Heidari, H. (2025). The “Who=
221;,
“What”, and “How” of Responsible AI Governance: A
systematic review and meta-analysis of (actor, stage)-specific tools. arXiv. doi.org/10.48550/arXiv.2502=
.13294
Kurzweil, R.
(2005). The singularity is near: When humans transcend biology. Viking /
Penguin.
Liu, H.-Y., & Maas,
M. M. (2021). `Solving for X?' Towards a problem-finding framework to ground long-=
term
governance strategies for artificial intelligence. Futures, 126, 102672. doi:10.1016/j.futures.2020.102672
Llamas Covarrub=
ias,
J. Z. (2022). Enfoques regulatorios para la Inteligencia Artificial (IA).
Revista Chilena De Derecho, 49(3), 31–62. doi.org/10.7764/R.493.2
Maher, R., &=
; Buhmann, K. (2019). Meaningful stakeholder engagement:
Bottom-up initiatives within global governance frameworks. Geoforum,
107, 231–234. doi:10.1016/j.geoforum.2019.06.013
McLean, S., Rea=
d,
G. J., Thompson, J., Baber, C., Stanton, N. A., & Salmon, P. M. (2021).=
The
risks associated with Artificial General Intelligence: A systematic review.
Journal of Experimental, Theoretical Artificial Intelligence, 35,
649–663. doi:10.1080/0952813x.2021.1964003
Pratt, L., Biss=
on,
C., & Warin, T. (2023). Bringing advanced
technology to strategic decision-making: The Decision Intelligence/Data Sci=
ence
(DI/DS) Integration framework. Futures, 152, 103217. doi:=
10.1016/j.futures.2023.103217
Ribeiro, D., Ro=
cha,
T., Pinto, G., Cartaxo, B., Amaral, M., Davila, N., & Camargo, A. (2025). Toward Effectiv=
e AI
Governance: A review of principles. arXiv. doi.org/10.48=
550/arXiv.2505.23417
Salmon, P. M.,
Baber, C., Burns, C., Carden, T., Cooke, N., Cummings, M., . . . Stanton, N=
. A.
(2023). Managing the risks of artificial general intelligence: A human fact=
ors
and ergonomics perspective. Human Factors and Ergonomics in Manufacturing,
Service Industries, 33, 366–378. doi:10.1002/hfm.20996
Saman Ghaffarian, F. R. (2023). Explainable artificial
intelligence in disaster risk management: Achievements and prospective futu=
res.
International Journal of Disaster Risk Reduction, 104123. doi.org/10.1016/<=
span
class=3DSpellE>j.ijdrr.2023.104123
Skouloudis, A., el al. (2025).
Scratching the surface of responsible AI in financial systems. MDPI. doi.org/10.3390/ai6080169
Stahl, B. C., Antoniou, J., Bhalla, N., Bro=
oks,
L., Jansen, P., Lindqvist, B., Wright, D. (2023). A system=
atic review
of artificial intelligence impact assessments. Artificial Intelligence Revi=
ew. doi:10.1007/s10462-023-10=
420-8
Vicente, K. (19=
99).
Cognitive work analysis: Toward safe, productive, and healthy computer-based
work. Lawrence Erlbaum Associates.
Walker, G.,
Stanton, N., & Salmon, P. (2015). Human factors in=
automotive
engineering and technology. Ashgate.
Witt, A., Huggi=
ns,
A., Governatori, G., & Buckley, J. (2023).
Encoding legislation: a methodology for enhancing technical validation, leg=
al
alignment and interdisciplinarity. Artificial Intelligence and Law. doi:10.1007/s10506-023-09=
350-1
World Economic
Forum. (2023,). Towards a strong trust-based AI governance model. Towards a
strong trust-based AI governance model. Retrieved from https://www.weforum.=
org/agenda/2023/05/towards-a-strong-trust-based-ai-governance-model/
Todo el contenido de LATAM Revista Latinoamericana de Cien=
cias
Sociales y Humanidades, publicados en este sitio está disponible=
s
bajo Licencia Creative Commons ![3D"https://revistacientifica.uamericana.edu.py/public/site/images/aduar=](3D"1394_CoronaFraga_archivos/image005.jpg")
.
L= ATAM Revista Latinoamericana de Ciencias Sociales y Humanidades, Asunción, Paraguay.<= o:p>
ISSN en línea: 2789-3855, noviembre, 2025,
Volumen VI, Número 5 p 3236.
![](3D"1394_CoronaFraga_archivos/image002.jpg")