Sophos publicó dos informes sobre el uso de la IA en el ciberdelito. El primer informe, “El lado oscuro de la IA: campañas fraudulentas a gran escala posibles gracias a la IA generativa”, demuestra cómo, en el futuro, los estafadores podrían aprovechar tecnología como ChatGPT para realizar fraudes a gran escala con habilidades técnicas mínimas.
Sin embargo, un segundo informe, titulado “Los ciberdelincuentes no pueden ponerse de acuerdo sobre los GPT”, encontró que, a pesar del potencial de la IA, en lugar de adoptar grandes modelos de lenguaje (LLM) como ChatGPT, algunos ciberdelincuentes se muestran escépticos e incluso preocupados por el uso de la IA para sus ataques.
El lado oscuro de la IA
Utilizando una plantilla de comercio electrónico simple y herramientas LLM como GPT-4, Sophos X-Ops pudo crear un sitio web completamente funcional con imágenes, audio y descripciones de productos generados por IA, así como un inicio de sesión de Facebook falso y una página de pago falsa, para robar las credenciales de inicio de sesión de los usuarios y los datos de sus tarjetas de crédito. El sitio web requirió conocimientos técnicos mínimos para crearlo y operarlo y, utilizando la misma herramienta, Sophos X-Ops pudo crear cientos de sitios web similares en segundos con un solo botón.
“Es natural (y esperado) que los delincuentes recurran a nuevas tecnologías para la automatización. La creación original de correos electrónicos no deseados fue un paso fundamental en la tecnología de estafa porque cambió la escala del campo de juego. Las nuevas IA están preparadas para hacer lo mismo; Si existe una tecnología de inteligencia artificial que pueda crear amenazas completas y automatizadas, la gente eventualmente la usará. Ya hemos visto la integración de elementos generativos de IA en estafas clásicas, como textos o fotografías generados por IA para atraer a las víctimas.
“Sin embargo, parte de la razón por la que llevamos a cabo esta investigación fue para adelantarnos a los delincuentes. Al crear un sistema para la generación de sitios web fraudulentos a gran escala que es más avanzado que las herramientas que los delincuentes utilizan actualmente, tenemos una oportunidad única de analizar y prepararnos para la amenaza antes de que prolifere”, afirmó Ben Gelman, científico de datos senior de Sophos.
Los ciberdelincuentes no pueden ponerse de acuerdo sobre los GPT
Para su investigación sobre las actitudes de los atacantes hacia la IA, Sophos X-Ops examinó cuatro foros destacados de la web oscura para debates relacionados con el LLM. Si bien el uso de la IA por parte de los ciberdelincuentes parece estar en sus primeras etapas, los actores de amenazas en la web oscura están discutiendo su potencial en lo que respecta a la ingeniería social. Sophos X-Ops ya ha sido testigo del uso de la IA en estafas basadas en romances.
Además, Sophos X-Ops descubrió que la mayoría de las publicaciones estaban relacionadas con cuentas ChatGPT comprometidas en venta y “jailbreaks”, formas de eludir las protecciones integradas en los LLM, para que los ciberdelincuentes puedan abusar de ellas con fines maliciosos. Sophos X-Ops también encontró diez derivados de ChatGPT que, según los creadores, podrían usarse para lanzar ciberataques y desarrollar malware. Sin embargo, los actores de amenazas tuvieron reacciones encontradas ante estos derivados y otras aplicaciones maliciosas de LLM, y muchos delincuentes expresaron preocupación de que los creadores de los imitadores de ChatGPT estuvieran tratando de estafarlos.
“Si bien ha habido una gran preocupación por el abuso de la IA y los LLM por parte de los ciberdelincuentes desde el lanzamiento de ChatGPT, nuestra investigación ha encontrado que, hasta ahora, los actores de amenazas son más escépticos que entusiasmados. En dos de los cuatro foros de la web oscura que examinamos, solo encontramos 100 publicaciones sobre IA. Compare eso con las criptomonedas, donde encontramos 1000 publicaciones durante el mismo período”, afirmó Christopher Budd, director de investigación de X-Ops de Sophos.
“Vimos que algunos ciberdelincuentes intentaron crear malware o herramientas de ataque utilizando LLM, pero los resultados fueron rudimentarios y, a menudo, encontraron el escepticismo de otros usuarios. En un caso, un actor de amenazas, ansioso por mostrar el potencial de ChatGPT, reveló sin darse cuenta información importante sobre su verdadera identidad. Incluso encontramos numerosos “artículos de reflexión” sobre los posibles efectos negativos de la IA en la sociedad y las implicaciones éticas de su uso. En otras palabras, al menos por ahora, parece que los ciberdelincuentes están teniendo los mismos debates sobre los LLM que el resto de nosotros”, agregó el ejecutivo.