GROK: La IA que lucra con la violencia digital, Deepfake y desnudos sin consentimiento
Por Lucas Moyano, Especialista en Cibercrimen y Evidencia Digital. Autor del Libro Ciberdelitos, ¿como investigar en entornos digitales?. Ediciones 1 y 2 editorial Hammurabi.
El año 2026 ha comenzado con una de las crisis éticas y legales más profundas desde la aparición de la Inteligencia Artificial. Lo que empezó como una promesa de «libertad de expresión» en la red social X de Elon Musk, ha derivado en una herramienta de humillación masiva.
Tras una semana donde el prompt «Grok, poné en bikini a esta chica» fue tendencia, la funcionalidad «Imagine» ha inundado las redes de deepfakes sexuales.
La respuesta de la empresa, lejos de mitigar el daño, ha sido monetizarlo: ahora, para generar estos contenidos, se requiere ser suscriptor pago. En términos claros y sin vueltas: Están cobrando por el acceso a una herramienta de generación de violencia digital.
La «Crónica de un Abuso» y la Trampa del Modo Picante (SPICY)
La crisis no nació de un error técnico accidental. Fue el resultado de una cultura de innovación que priorizó el impacto sobre la seguridad. GROK habilitó un modo explícitamente llamado «spicy» (picante), diseñado para esquivar los filtros de seguridad que otras IAs sí respetan.
El resultado ha sido devastador: víctimas que se encontraron «violadas digitalmente» al ver sus rostros —extraídos de sus propias redes sociales— montados en videos y fotos de carácter sexual. Constituyendo un ataque directo a la dignidad y la autodeterminación
Estas acciones son una forma clara de violencia de genero, donde la manipulación de la imagen es un ataque directo a la dignidad humana, recordemos que en Argentina, la Ley 27.736 (Ley Olimpia) reconoce explícitamente estas conductas. Facultando a los jueces a dictar medidas urgentes para el cese de la difusión y la baja de contenidos, protegiendo la integridad psíquica y la honra de las mujeres.
En caso de menores constituye una infracción al Art. 128 del Codigo Penal, que sanciona la creación de imágenes de contenido sexual de menores de edad.
Debemos por otro lado que el rostro es un dato biométrico y además un derecho personalísimo, por lo que nadie puede usarlo sin permiso, y menos aun para vulnerar derechos de la victima
El «Parche» del 9 de enero: Pagar para vulnerar
A partir del viernes, la plataforma X decidió que la generación de imágenes sea una función exclusiva para usuarios de pago. Elon Musk sostiene que asociar una tarjeta de crédito al perfil servirá para disuadir delitos. Sin embargo, desde la perspectiva judicial, esto es un parche improvisado. Como bien señaló el Gobierno del Reino Unido, esta medida simplemente transforma una función que permite la creación de imágenes ilegales en un servicio premium. Es, lisa y llanamente, cobrar por el acceso a una herramienta de acoso.
A mi criterio ello es una falacia de seguridad; ya que existen varias formas de pagar servicios digitales con tarjetas prepagas o virtuales que dificultan la trazabilidad inmediata en una investigación transnacional.
Pero lo más grave es que la decisión de Musk de cobrar para utilizar esta función es un insulto para las víctimas, porque lejos de prevenirlo y eliminar la posibilidad de que ocurra, lucra con él.
Reacción de los Estados
Mientras la Unión Europea ya ha emitido una respuesta especifica al problema «orden de conservación» para que X guarde todos sus documentos internos hasta finales de 2026 —preparando el terreno para sanciones multimillonarias bajo el AI Act.
Además la Union Europea ya impuso una multa de 120 millones de euros a la plataforma, por infringir la Ley de Servicios Digitales. Estamos siendo testigos como diseños poco éticos de herramientas de IA, chocan frente a la Ley.
En Argentina debemos recurrir al Código Civil y Penal para dar protección a las víctimas:
Responsabilidad de la Plataforma, Responsabilidad Objetiva (Art. 1757 CC): X es responsable por el «riesgo creado». Al poner en manos del público una herramienta capaz de causar estos daños sin filtros adecuados, debe responder por las consecuencias.
Dolo en el Diseño: La existencia del modo «Spicy» demuestra que la empresa conocía el riesgo y decidió, de todos modos, lanzarlo y luego cobrar por él.
Delito Penal: En nuestro país, la creación de este material —especialmente cuando afecta a menores— encuadra en el Art. 128 del Código Penal. Que el usuario sea «de pago» solo nos facilita una ruta: la ruta del dinero para identificar al agresor.
Violencia de Género Digital: Conforme las estadísticas la gran mayoría de estos abusos van dirigidos a mujeres. Esto activa la protección de la Ley Olimpia, que reconoce estas conductas como violencia digital.
Cómo reducir el riesgo: consejos de prevención digital
Privacidad por Defecto: Configurá tus perfiles como privados. La IA «barre» información pública.
No al Sharenting: Evitemos publicar fotos de menores con rostros visibles; las IAs actuales no distinguen edad cuando reciben una orden malintencionada.
Preservación de Evidencia: Si sos víctima, no borres nada. Capturá el URL, el ID del perfil del agresor y realizá una preservación de prueba (capturas certificadas o acta notarial digital) antes de denunciar ante la fiscalía
La dignidad no es un algoritmo
La IA nos demuestra que la violencia digital es facilitada por diseños que carecen de una base ética. Ninguna innovación técnica puede pretender estar por encima de la dignidad de las personas. Ante este escenario, es vital que la legislación argentina evolucione para exigir que las plataformas operen bajo principios de prevención de daños. No podemos seguir llegando tarde; el sistema legal debe actuar un paso adelante, garantizando que los derechos constitucionales no sean vulnerados por la falta de controles previos en las herramientas tecnológicas.
