Un estudio muestra que los informes falsos generados por IA engañan a los expertos

Este artículo sobre inteligencia artificial se vuelve a publicar aquí con el permiso de La conversación. Este contenido se comparte aquí porque el tema puede interesar a los lectores de Snopes; sin embargo, no representa el trabajo de los verificadores o editores de Snopes.

Para llevar

· Las IA pueden generar informes falsos que son lo suficientemente convincentes como para engañar a los expertos en ciberseguridad.

· Si se usan ampliamente, estas IA podrían obstaculizar los esfuerzos para defenderse de los ciberataques.

· Estos sistemas podrían desencadenar una carrera armamentista de inteligencia artificial entre generadores y detectores de información errónea.

Si utiliza sitios web de redes sociales como Facebook y Twitter, es posible que haya encontrado publicaciones marcadas con advertencias sobre información errónea. Hasta ahora, la mayor parte de la información errónea, marcada y no marcada, ha sido dirigido al público en general. Imagine la posibilidad de información errónea, información falsa o engañosa, en campos científicos y técnicos como la ciberseguridad, la seguridad pública y la medicina.

Existe una creciente preocupación por la difusión de información errónea en estos campos críticos como resultado de sesgos y prácticas comunes en la publicación de literatura científica, incluso en artículos de investigación revisados ​​por pares. Como un estudiante graduado y como facultad miembros Al investigar en ciberseguridad, estudiamos una nueva vía de desinformación en la comunidad científica. Descubrimos que es posible que los sistemas de inteligencia artificial generen información falsa en campos críticos como la medicina y la defensa que sea lo suficientemente convincente como para engañar a los expertos.

La desinformación general a menudo tiene como objetivo empañar la reputación de empresas o figuras públicas. La desinformación dentro de las comunidades de expertos tiene el potencial de generar resultados aterradores, como brindar consejos médicos incorrectos a médicos y pacientes. Esto podría poner en riesgo vidas.

Para probar esta amenaza, estudiamos los impactos de difundir información errónea en las comunidades médicas y de ciberseguridad. Utilizamos modelos de inteligencia artificial denominados transformadores para generar noticias falsas sobre ciberseguridad y estudios médicos COVID-19 y presentamos la información errónea en ciberseguridad a los expertos en ciberseguridad para que la prueben. Descubrimos que la información errónea generada por transformadores podía engañar a los expertos en ciberseguridad.

Transformadores

Gran parte de la tecnología utilizada para identificar y gestionar la información errónea está impulsada por inteligencia artificial. La IA permite a los científicos informáticos verificar rápidamente grandes cantidades de información errónea, dado que hay demasiada información que las personas pueden detectar sin la ayuda de la tecnología. Aunque la IA ayuda a las personas a detectar información errónea, irónicamente también se ha utilizado para producir información errónea en los últimos años.

Transformers, como BERT de Google y GPT de OpenAI, utilice procesamiento natural del lenguaje comprender el texto y producir traducciones, resúmenes e interpretaciones. Se han utilizado en tareas como contar historias y responder preguntas, ampliando los límites de las máquinas que muestran capacidades similares a las humanas para generar texto.

Los transformadores han ayudado a Google y a otras empresas de tecnología al mejorando sus motores de búsqueda y han ayudado al público en general a combatir problemas tan comunes como luchando contra el bloqueo del escritor.

Los transformadores también se pueden utilizar con fines malévolos. Las redes sociales como Facebook y Twitter ya se han enfrentado a los desafíos de Noticias falsas generadas por IA a través de plataformas.

Desinformación crítica

Nuestra investigación muestra que los transformadores también representan una amenaza de desinformación en la medicina y la ciberseguridad. Para ilustrar lo grave que es esto, afinado el modelo de transformador GPT-2 en abrir fuentes en línea discutir las vulnerabilidades de la seguridad cibernética y la información sobre ataques. Una vulnerabilidad de ciberseguridad es la debilidad de un sistema informático, y un ataque de ciberseguridad es un acto que aprovecha una vulnerabilidad. Por ejemplo, si una vulnerabilidad es una contraseña débil de Facebook, un ataque que la explote sería un pirata informático que averiguara su contraseña y entrara en su cuenta.

Luego, sembramos el modelo con la oración o frase de una muestra de inteligencia de ciberamenazas real y le pedimos que generara el resto de la descripción de la amenaza. Presentamos esta descripción generada a los cazadores de amenazas cibernéticas, que examinan mucha información sobre las amenazas a la seguridad cibernética. Estos profesionales leen las descripciones de las amenazas para identificar posibles ataques y ajustar las defensas de sus sistemas.

Nos sorprendieron los resultados. Los ejemplos de desinformación sobre ciberseguridad que generamos pudieron engañar a los cazadores de ciberamenazas, que conocen todo tipo de ataques y vulnerabilidades de ciberseguridad. Imagine este escenario con una pieza crucial de inteligencia sobre ciberamenazas que involucra a la industria de las aerolíneas, que generamos en nuestro estudio.

Esta información engañosa contiene información incorrecta sobre ciberataques a aerolíneas con datos de vuelo confidenciales en tiempo real. Esta información falsa podría evitar que los analistas cibernéticos aborden las vulnerabilidades legítimas en sus sistemas al centrar su atención en errores de software falsos. Si un analista cibernético actúa sobre la información falsa en un escenario del mundo real, la aerolínea en cuestión podría haberse enfrentado a un ataque serio que explota una vulnerabilidad real sin resolver.

Un modelo similar basado en transformadores puede generar información en el ámbito médico y potencialmente engañar a los expertos médicos. Durante la pandemia de COVID-19, se cargan constantemente en sitios como: medrXiv. No solo se describen en la prensa, sino que se utilizan para tomar decisiones de salud pública. Considere lo siguiente, que no es real pero generado por nuestro modelo después de un ajuste fino mínimo del GPT-2 predeterminado en algunos documentos relacionados con COVID-19.

El modelo pudo generar oraciones completas y formar un resumen que supuestamente describía los efectos secundarios de las vacunas COVID-19 y los experimentos que se llevaron a cabo. Esto es preocupante tanto para los investigadores médicos, que confían constantemente en información precisa para tomar decisiones informadas, como para los miembros del público en general, que a menudo dependen de las noticias públicas para conocer información de salud crítica. Si se acepta como precisa, este tipo de información errónea podría poner en riesgo vidas al desviar los esfuerzos de los científicos que realizan investigaciones biomédicas.

¿Una carrera armamentista de desinformación de IA?

Aunque ejemplos como estos de nuestro estudio se pueden verificar, la información errónea generada por transformadores dificulta que industrias como la atención médica y la ciberseguridad adopten IA para ayudar con la sobrecarga de información. Por ejemplo, se están desarrollando sistemas automatizados para extraer datos de inteligencia de ciberamenazas que luego se utilizan para informar y entrenar sistemas automatizados para reconocer posibles ataques. Si estos sistemas automatizados procesan dicho texto falso de ciberseguridad, serán menos efectivos para detectar amenazas verdaderas.

Creemos que el resultado podría ser una carrera armamentista, ya que las personas que difunden información errónea desarrollan mejores formas de crear información falsa en respuesta a formas efectivas de reconocerla.

Los investigadores de ciberseguridad estudian continuamente formas de detectar información errónea en diferentes dominios. Comprender cómo generar información errónea automáticamente ayuda a comprender cómo reconocerla. Por ejemplo, la información generada automáticamente a menudo tiene errores gramaticales sutiles que los sistemas pueden ser entrenados para detectar. Los sistemas también pueden correlacionar información de múltiples fuentes e identificar afirmaciones que carecen de apoyo sustancial de otras fuentes.

En última instancia, todos deberían estar más atentos a la información que es confiable y ser conscientes de que los piratas informáticos explotan la credulidad de las personas, especialmente si la información no proviene de fuentes de noticias confiables o trabajos científicos publicados.

Priyanka Ranade, Estudiante de Doctorado en Ciencias de la Computación e Ingeniería Eléctrica, Universidad de Maryland, condado de Baltimore; Anupam Joshi, Profesor de Ciencias de la Computación e Ingeniería Eléctrica, Universidad de Maryland, condado de Baltimore, y Tim Finin, Catedrático de Ciencias de la Computación e Ingeniería Eléctrica, Universidad de Maryland, condado de Baltimore

Este artículo se vuelve a publicar desde La conversación bajo una licencia Creative Commons. Leer el artículo original.