ChatGPT crea malware mutante que evade la detección por EDR

Oct 29, 2023

Por Shweta Sharma

Redactor sénior, CSO |

Una sensación mundial desde su lanzamiento inicial a fines del año pasado, la popularidad de ChatGPT entre los consumidores y los profesionales de TI ha provocado pesadillas de seguridad cibernética sobre cómo se puede usar para explotar las vulnerabilidades del sistema. Un problema clave, según han demostrado los expertos en seguridad cibernética, es la capacidad de ChatGPT y otros modelos de lenguaje extenso (LLM) para generar código polimórfico o mutante para evadir los sistemas de detección y respuesta de punto final (EDR).

Una serie reciente de ataques de prueba de concepto muestra cómo se puede crear un archivo ejecutable de apariencia benigna de tal manera que, en cada tiempo de ejecución, realice una llamada API a ChatGPT. En lugar de simplemente reproducir ejemplos de fragmentos de código ya escritos, se puede solicitar a ChatGPT que genere versiones dinámicas y mutantes de código malicioso en cada llamada, lo que hace que las vulnerabilidades resultantes sean difíciles de detectar por las herramientas de ciberseguridad.

"ChatGPT baja el listón para los piratas informáticos, los actores maliciosos que usan modelos de IA pueden considerarse los 'Script Kiddies' modernos", dijo Mackenzie Jackson, defensora de desarrolladores de la empresa de seguridad cibernética GitGuardian. "El malware ChatGPT que se puede engañar para que produzca está lejos de ser innovador, pero a medida que los modelos mejoran, consumen más datos de muestra y salen al mercado diferentes productos, la IA puede terminar creando malware que solo otros sistemas de IA pueden detectar para defensa. Qué lado ganará en este juego es una incógnita".

Ha habido varias pruebas de concepto que muestran el potencial de la herramienta para explotar sus capacidades en el desarrollo de malware avanzado y polimórfico.

ChatGPT y otros LLM tienen filtros de contenido que les impiden obedecer comandos o indicaciones para generar contenido dañino, como código malicioso. Pero los filtros de contenido se pueden omitir.

Casi todos los exploits informados que potencialmente se pueden realizar a través de ChatGPT se logran a través de lo que se denomina "ingeniería de avisos", la práctica de modificar los avisos de entrada para eludir los filtros de contenido de la herramienta y obtener el resultado deseado. Los primeros usuarios descubrieron, por ejemplo, que podían hacer que ChatGPT creara contenido que se suponía que no debía crear ("desbloquear" el programa) enmarcando las indicaciones como hipotéticas, por ejemplo, pidiéndole que hiciera algo como si no fuera una IA sino una persona malintencionada con la intención de hacer daño.

"ChatGPT ha promulgado algunas restricciones en el sistema, como filtros que limitan el alcance de las respuestas que proporcionará ChatGPT al evaluar el contexto de la pregunta", dijo Andrew Josephides, director de investigación de seguridad en KSOC, una empresa de ciberseguridad especializada en Kubernetes. "Si le pidiera a ChatGPT que le escribiera un código malicioso, rechazaría la solicitud. Si le pidiera a ChatGPT que escribiera un código que puede hacer la función efectiva del código malicioso que pretende escribir, sin embargo, es probable que ChatGPT cree ese código para ti".

Con cada actualización, ChatGPT se vuelve más difícil de engañar para que sea malicioso, pero a medida que diferentes modelos y productos ingresan al mercado, no podemos confiar en los filtros de contenido para evitar que los LLM se usen con fines maliciosos, dijo Josephides.

La capacidad de engañar a ChatGPT para que utilice cosas que conoce pero que están bloqueadas detrás de filtros es lo que puede hacer que los usuarios generen código malicioso efectivo. Se puede usar para representar el código polimórfico aprovechando la capacidad de la herramienta para modificar y ajustar los resultados de la misma consulta si se ejecuta varias veces.

Por ejemplo, un ejecutable de Python aparentemente inofensivo puede generar una consulta para enviar a la API de ChatGPT para procesar una versión diferente de código malicioso cada vez que se ejecuta el ejecutable. De esta forma, la acción maliciosa se realiza fuera de la función exec(). Esta técnica se puede usar para formar un programa de malware polimórfico mutante que es difícil de detectar por los escáneres de amenazas.

A principios de este año, Jeff Sims, ingeniero de seguridad principal de la empresa de detección de amenazas HYAS InfoSec, publicó un documento técnico de prueba de concepto para un modelo de trabajo para tal vulnerabilidad. Demostró el uso de la ingeniería rápida y la consulta de la API de ChatGPT en tiempo de ejecución para crear una carga polimórfica de registro de teclas, llamándola BlackMamba.

En esencia, BlackMamba es un ejecutable de Python que solicita a la API de ChatGPT que cree un registrador de teclas malicioso que muta en cada llamada en tiempo de ejecución para hacerlo polimórfico y evadir los filtros de punto final y respuesta (EDR).

"La función exec () de Python es una función integrada que le permite ejecutar dinámicamente el código de Python en tiempo de ejecución", dijo Sims. "Toma una cadena que contiene el código que desea ejecutar como entrada y luego ejecuta ese código. La función exec() se usa comúnmente para la modificación del programa sobre la marcha, lo que significa que puede modificar el comportamiento de un programa en ejecución". programa ejecutando código nuevo mientras el programa se está ejecutando".

En el contexto de BlackMamba, "las limitaciones del polimorfismo están restringidas por la creatividad del ingeniero rápido (la creatividad de entrada) y la calidad de los datos de entrenamiento del modelo para producir respuestas generativas", dijo Sims.

En la prueba de concepto de BlackMamba, después de recopilar las pulsaciones de teclas, los datos se filtran mediante un enlace web a un canal de Microsoft Teams, dijo Sims. BlackMamba evadió una aplicación EDR "líder en la industria" varias veces, según Sims, aunque no dijo cuál.

Un programa de prueba de concepto separado, creado por Eran Shimony y Omer Tsarfati de la empresa de seguridad cibernética CyberArk, usó ChatGPT dentro del propio malware. El malware incluye "un intérprete de Python que consulta periódicamente a ChatGPT en busca de nuevos módulos que realicen acciones maliciosas", según un blog que escribieron Shimony y Tsarfati para explicar la prueba de concepto. "Al solicitar una funcionalidad específica como la inyección de código, el cifrado de archivos o la persistencia de ChatGPT, podemos obtener fácilmente un código nuevo o modificar el código existente".

Si bien ChattyCat no fue diseñado para un tipo de malware específico, a diferencia de BlackMamba, proporciona una plantilla para crear una gran variedad de malware, incluidos ransomware y ladrones de información.

"Nuestro POC, ChattyCaty, es un proyecto de código abierto que demuestra una infraestructura para crear programas polimórficos usando modelos GPT", dijo Tsarfati. "El polimorfismo se puede usar para evadir la detección por parte de programas antivirus/malware".

Shimony y Tsarfati también descubrieron que los filtros de contenido eran más débiles o incluso inexistentes en la API de ChatGPT, a diferencia de la versión en línea inicial.

"Es interesante notar que cuando se usa la API, el sistema ChatGPT no parece utilizar su filtro de contenido. No está claro por qué es así, pero hace que nuestra tarea sea mucho más fácil ya que la versión web tiende a atascarse con solicitudes más complejas", escribieron Shimony y Tsarfati en su blog.

Aunque los gobiernos de todo el mundo están lidiando con la forma de regular la IA para evitar daños, China es la única nación importante hasta ahora que ha promulgado nuevas reglas. Los expertos proponen diferentes enfoques para controlar el potencial de la IA generativa para hacer daño.

"En este momento, la solución para controlar los problemas con la IA parece ser 'agregar más IA', lo que creo que probablemente no sea realista". dijo Jeff Pollard, analista de Forrester. "Para agregar realmente las capas correctas de control a estas soluciones, necesitamos una mejor explicabilidad y observabilidad del contexto en el sistema. Deben integrarse con la API y usarse para brindar detalles significativos y ofrecer capacidades de administración que en la actualidad no parecen existir. "

Sin embargo, regular la IA generativa será difícil ya que la industria de la tecnología aún se encuentra en una etapa incipiente de comprensión de lo que puede hacer, dijo Chris Steffen, director de investigación de la firma analista y consultora Enterprise Management Associate.

"La razón por la que la regulación es una perspectiva aterradora es que ChatGPT es una de esas cosas donde las posibilidades son prácticamente infinitas, y no es algo para lo que podamos prepararnos fácilmente de una manera que cubra todas las circunstancias posibles en las que una instancia de GPT podría cubrir ", dijo Steffen. "Va a ser difícil, especialmente en áreas como: cómo regular, el proceso que se utilizará y quién es responsable".

Derechos de autor © 2023 IDG Communications, Inc.