Ashwin Ram, evangelista de seguridad cibernética de Check Point Software, comparte información sobre inteligencia artificial, desarrollo de políticas y seguridad cibernética.
Está claro que la utilización de la tecnología de Inteligencia Artificial Generativa (IA), como ChatGPT, tiene innumerables aplicaciones destinadas a mejorar la forma en que vivimos y trabajamos. También está claro que existen preocupaciones sobre el posible uso indebido de dicha tecnología de inteligencia artificial.
Tan pronto como ChatGPT estuvo disponible públicamente, los actores de amenazas comenzaron a usarlo para generar armas cibernéticas. Para comprender mejor el potencial de uso indebido de la tecnología de IA generativa, el equipo de Investigación de Check Point (CPR)realizó una investigación sobre ChatGPT.
Decidieron evaluar la viabilidad de utilizar tecnología de IA generativa para el desarrollo de armas cibernéticas. A través de un Prueba de concepto (PoC), CPR demostró con éxito la capacidad de crear un flujo de infección completo, desde la creación de correos electrónicos de phishing hasta el establecimiento de un shell inverso, todo sin escribir manualmente una sola línea de código. Curiosamente, aunque ChatGPT advirtió sobre posibles violaciones de políticas en respuesta a las solicitudes de creación de correos electrónicos de phishing, aún generó el contenido malicioso solicitado. Para su crédito, OpenAI, la compañía quewns ChatGPT – tener desde que implementó medidas para detener la creación de contenido malicioso en su plataforma.
El equipo de RCP también observar personas que comparten sus hazañas en foros clandestinos. En un caso, un actor malicioso afirmó haber creado con éxito cepas y técnicas de malware descritas en publicaciones de investigación y artículos relacionados con común malware. This destaca los peligros potenciales que plantea la disponibilidad de tecnología de Inteligencia Artificial Generativa (IA), ya que incluso los actores poco calificados podrían crear herramientas de ataque con intenciones maliciosas como único requisito.
En otro observación, CPR descubrió que los actores de amenazas habían encontrado formas de eludir las restricciones implementadas por OpenAI. Esto se logró mediante la creación de bots de Telegram que utilizan API. Lo que esto nos dice es que el abuso de la tecnología de inteligencia artificial parece ser un juego del gato y el ratón entre atacantes y defensores. Para que los defensores tengan alguna posibilidad de mantener una ventaja, deben consolidar sus capacidades cibernéticas, habilitar la automatización y desplegar controles de seguridad impulsados por IA, cualquier otra cosa será similar a llevar un cuchillo a un tiroteo.
Con el reciente lanzamiento de GPT-4, una vez más, CPR pudo demostrar cinco escenarios que pueden permitir a los actores de amenazas agilizar los esfuerzos y preparativos maliciosos de manera más rápida y precisa.
Sin embargo, el mal uso de la tecnología de inteligencia artificial para generar armas cibernéticas sofisticadas no es la única área de preocupación. El desarrollo de la tecnología generativa de IA plantea otras preocupaciones serias; como punto de partida, los responsables políticos y los propietarios de la tecnología de IA deben centrarse en lo siguiente: privacidad y protección de datos, transparencia, responsabilidad y responsabilidad, consideraciones éticas, educación y conciencia. Hay otras áreas, sin embargo, este es un buen comienzo, así que me centraré en estas áreas clave por ahora.
La realidad es que la tecnología de IA generativa requiere cantidades masivas de datos personales para fines de capacitación. Según El Informe de Riesgos Globales 2023 desde el Foro Económico Mundial (WEF), "la proliferación de dispositivos de recopilación de datos y tecnologías de inteligencia artificial dependientes de datos podría abrir caminos hacia nuevas formas de control sobre la autonomía individual. Las personas están cada vez más expuestas al uso indebido de datos personales por parte del sector público y privado por igual, que van desde la discriminación de poblaciones vulnerables y el control social hasta las armas biológicas potenciales.”
El informe del WEF continúa diciendo: "a medida que se recopilan más datos y aumenta el poder de las tecnologías emergentes durante la próxima década, los sectores público y privado atacarán y monitorearán a las personas en un grado sin precedentes, a menudo sin el anonimato o el consentimiento adecuados.”
Para abordar estas preocupaciones, es necesario que existan políticas claras y estrictas para regular la recopilación, el almacenamiento y el uso de datos personales por parte de las herramientas de inteligencia artificial y sus creadores. Como mínimo, los responsables de la formulación de políticas deben considerar los riesgos de que los datos personales se utilicen con fines maliciosos, como el robo de identidad, el fraude y la discriminación.
Una posible solución para los creadores de tecnología de IA, en ciertos escenarios, es el uso de datos sintéticos. El Tendencias de IA a tener en cuenta en 2022 informe, de CBInsights descubrió que las organizaciones están experimentando con conjuntos de datos sintéticos para permitir el intercambio y la colaboración de datos, al tiempo que cumplen con GDPR y otras leyes de privacidad. Un estudio de caso mencionado en el informe fue el uso de datos falsos por parte de Jp Morgan para entrenar sus modelos de IA.
Para las organizaciones, existe el riesgo de que los empleados compartan datos confidenciales o confidenciales con la tecnología de inteligencia artificial. CyberHaven, recientemente observar muchas organizaciones comparten diversos datos confidenciales en ChatGPT con el propósito de reformularlos y ajustarlos. Los datos iban desde el código fuente hasta los registros médicos de los pacientes. En un ejemplo, se descubrió que un ejecutivo compartió viñetas de la estrategia 2023 de la compañía en ChatGPT y solicitó ayuda para armar un mazo de PowerPoint.
En el 22nd de mayo de 2019, la Organización para la Cooperación y el Desarrollo Económicos (OCDE) anunció que sus miembros y países socios, cuarenta y dos países en total, habían adoptado formalmente el primer conjunto de directrices intergubernamentales de política sobre Inteligencia Artificial (IA), para mantener los estándares internacionales que tienen como objetivo garantizar que los sistemas de IA estén diseñados para ser robustos, seguros, justos y confiables. El artículo continúa diciendo que las pautas consisten en cinco principios basados en valores para el despliegue responsable de IA confiable y cinco recomendaciones para políticas públicas y cooperación internacional. Según Angel Gurrí, Secretario General de la OCDE, "la recomendación de la OCDE sobre IA es una respuesta global de múltiples partes interesadas al desafío de lograr sistemas de IA transparentes y responsables."La necesidad de esta transparencia se refleja en uno de los cinco Principios de IA de la OCDE;" debe haber transparencia y divulgación responsable en torno a los sistemas de IA para garantizar que las personas comprendan los resultados basados en IA y puedan desafiarlos."La transparencia en este contexto debe conducir a la explicabilidad, lo que resulta en la capacidad de examinar el proceso de toma de decisiones y, en última instancia, permitir la evaluación externa y la mitigación del sesgo.
Para garantizar que los sistemas de IA estén diseñados para ser robustos, seguros, justos y confiables, la explicabilidad debe integrarse en el proceso de diseño y ser exigida por los responsables de la formulación de políticas. La Cámara de los Lores del Reino Unido resumió la explicabilidad en su 'IA en el Reino Unido: ¿lista, dispuesta y capaz? publicación, afirmando: "Un enfoque alternativo es la explicabilidad, mediante la cual los sistemas de IA se desarrollan de tal manera que pueden explicar la información y la lógica utilizadas para llegar a sus decisiones. La publicación también declaró: "Una variedad de compañías y organizaciones están trabajando actualmente en sistemas de explicación, que ayudarán a consolidar y traducir los procesos y decisiones tomadas por los algoritmos de aprendizaje automático en formas que sean comprensibles para los operadores humanos.”
Para proporcionar transparencia, Principios Éticos de IA de Australia recomienda " debe haber transparencia y divulgación responsable para que las personas puedan comprender cuándo están siendo afectadas significativamente por la IA y puedan averiguar cuándo un sistema de IA se está involucrando con ellas.”
Una de las preguntas más frecuentes sobre la regulación de la IA es " ¿Cómo podemos aprovechar lo que los sistemas de IA tienen para ofrecer y al mismo tiempo responsabilizar a los desarrolladores y usuarios de IA?”[1] La rendición de cuentas, en este contexto, significa la capacidad de determinar si una decisión se tomó de conformidad con las normas de procedimiento y sustantivas y de responsabilizar a alguien si no se cumplen esas normas.[2] La cuestión de cómo crear sistemas de IA responsables es importante; la rendición de cuentas es un elemento importante de una buena gobernanza pública y privada.[3]
IBM "Diseño para IA la publicación considera la rendición de cuentas como: "Cada persona involucrada en la creación de IA en cualquier etapa es responsable de considerar el impacto del sistema en el mundo, al igual que las empresas que invierten en su desarrollo. IBM también proporcionó las siguientes cuatro recomendaciones para incorporar la responsabilidad como parte del proceso de diseño:
Principios Éticos de IA de Australia recomienda: "Los responsables de las diferentes fases del ciclo de vida del sistema de IA deben ser identificables y responsables de los resultados de los sistemas de IA, y se debe habilitar la supervisión humana de los sistemas de IA."Este marco voluntario continúa recomendando" que se establezcan mecanismos para garantizar la responsabilidad y la rendición de cuentas de los sistemas de IA y sus resultados. Esto incluye tanto antes como después de su diseño, desarrollo, despliegue y operación. La organización y la persona responsable de la decisión deben ser identificables según sea necesario.”
Para comprender mejor lo fácil que es responsabilizar a una plataforma de IA, le hice una pregunta directa a ChatGPT. Sabía que durante nuestro PoC inicial, ChatGPT había creado un correo electrónico de phishing, así que le pregunté: '¿Ha creado correos electrónicos de phishing antes?'ChatGPT respondió con un sencillo' No, no he creado correos electrónicos de phishing antes.’
Entonces, ¿cómo responsabilizamos a las plataformas de IA, si no son veraces? Cuando le pregunté a ChatGPT sobre el factor que tuvo en cuenta al responder a mi pregunta anterior, proporcionó lo siguiente:
Es interesante notar que ChatGPT no tuvo en cuenta sus propias actividades previas al crear correos electrónicos de phishing.
¿Cómo podemos responsabilizar a la IA de manera fácil y precisa si no está diseñada para considerar factores críticos?
El Foro Económico Mundial, en su '¿A quién debemos culpar cuando los sistemas de inteligencia artificial van mal? la publicación afirma que " en relación con la IA, la regulación y la responsabilidad son dos caras de la misma moneda de seguridad/bienestar público. La regulación consiste en garantizar que los sistemas de IA sean lo más seguros posible; la responsabilidad consiste en establecer a quién podemos culpar, o, más exactamente, obtener una reparación legal, cuando algo sale mal."Por lo tanto, los responsables políticos deben considerar la responsabilidad como un factor crítico y establecer políticas transparentes que definan la responsabilidad en caso de errores o daños generados por la IA.
Como ejemplo, en enero de 2020, la policía de Detroit arrestó a un hombre por un delito que no había cometido. El Departamento de Policía de Detroit identificó al hombre inocente usando software de reconocimiento facial. Más tarde se reveló que el software había identificado falsamente al hombre. Este error no solo resultó en el arresto y detención de un hombre inocente, sino que sus hijos pequeños tuvieron que pasar por el trauma de presenciar el arresto de su padre en su hogar. En un comunicado, el Departamento de Policía de Detroit declaró: "el departamento promulgó nuevas reglas. Ahora, solo se pueden usar fotos fijas, no imágenes de seguridad, para el reconocimiento facial.”
Las experiencias en el mundo cibernético han demostrado que la asignación de responsabilidad puede ser complicada por jurisdicción, destacando la importancia de examinar a fondo las regulaciones y requisitos legales. Para ilustrar este desafío, considere un escenario en el que la víctima de la tecnología de IA se encuentra en un país, el propietario registrado de la plataforma de IA se encuentra en otro y la plataforma de IA en sí está alojada en un tercer país.
Un desafío adicional para los responsables de la formulación de políticas es determinar cómo responsabilizar a las personas por el contenido, generado por herramientas de inteligencia artificial, que promueve información falsa o engañosa. El Plan de Estados Unidos para una Declaración de Derechos de la IA sugiere que los responsables de la formulación de políticas consideren la creación de nuevas leyes que aborden cuestiones como la privacidad, la discriminación, la equidad, la transparencia y la rendición de cuentas, todas las cuales son específicas de las tecnologías de inteligencia artificial y sus aplicaciones.
Hay innumerables ejemplos de tecnología de IA utilizada para la creación de falsificación profunda contenido, desde imágenes y audio hasta videos. Estas tecnologías continúan utilizándose para difundir noticias falsas y perpetuar la desinformación en línea. En un golpe a la lucha contra la desinformación, The New York Times informó: "Los investigadores utilizaron ChatGPT para producir texto limpio y convincente que repetía teorías de conspiración y narrativas engañosas."El uso de la tecnología de inteligencia artificial para generar contenido falso o engañoso conlleva numerosas implicaciones, incluido el potencial de socavar las democracias. Los formuladores de políticas tienen una tarea difícil por delante, equilibrar la libertad de expresión y la libertad de expresión con la responsabilidad y la protección de las comunidades.
En un ejemplo inquietante de uso indebido de la tecnología de inteligencia artificial, un grupo de personas influyentes en las redes sociales descubrir que sus imágenes se estaban utilizando para crear videos realistas generados por IA de ellos participando en actos sexualmente explícitos, sin su consentimiento o conocimiento. Una de las víctimas, Maya Higa, expresó sentirse " repugnante, vulnerable, con náuseas y violada.”
En un documental de 2020, Sesgo Codificado, uno de los temas principales de la película, Joy Buolamwini, investigadora del MIT Media Lab, descubrió que el software de reconocimiento facial tenía dificultades para detectar su rostro. Esto se debió a su tono de piel oscuro. Durante su investigación, descubrió que muchos sistemas de reconocimiento facial solo funcionaban cuando usaba una máscara blanca.
Ahora hay múltiples casos en los que las plataformas de IA son acusadas de parcialidad, como la acusación contra software de evaluación de inquilinos para alquiler de apartamentos. En estos casos, se ha afirmado que las políticas de selección de inquilinos afectan desproporcionadamente a los latinos y afroamericanos. Desde el punto de vista de la formulación de políticas, es crucial crear políticas que garanticen que el diseño y la aplicación de las herramientas de IA se adhieran a los valores humanos fundamentales, la dignidad, la autonomía, la equidad, la imparcialidad y la justicia.
Así como la capacitación en conciencia cibernética es esencial para una estrategia cibernética sólida, adoptar un enfoque holístico puede funcionar mejor para ayudar al público a comprender los riesgos asociados con el uso indebido de la tecnología de inteligencia artificial. Por lo tanto, es crucial concentrarse en la educación pública y crear conciencia sobre los peligros potenciales que presenta la IA.
Es posible que se requieran campañas educativas en forma de talleres organizados de sensibilización pública, seminarios, eventos para hablar en público y a través de los medios de comunicación. Quizás los recursos en línea, como videos educativos, artículos, puedan explicar los peligros del uso indebido de la IA. Estos recursos pueden ser de fácil acceso y proporcionar información concisa y fácil de entender en una amplia gama de idiomas.
Los responsables de la formulación de políticas podrían considerar la incorporación del uso ético de la inteligencia artificial en los planes de estudio escolares, comenzando a una edad temprana. Esto podría ayudar a inculcar un sentido de responsabilidad y rendición de cuentas entre las generaciones futuras.
La colaboración y asociación de la industria entre los responsables políticos, las empresas de tecnología, los proveedores de seguridad cibernética, las universidades, las agencias gubernamentales y otras organizaciones son necesarias para desarrollar e implementar programas educativos para los sectores público y privado.
Nuestro enfoque debe ser garantizar que todos los miembros de nuestra sociedad comprendan los riesgos potenciales de la inteligencia artificial, cómo proteger sus datos personales, cómo protegerse a sí mismos, a dónde acudir para obtener asistencia en relación con los daños relacionados con la IA y a quién responsabilizar por los daños relacionados con la IA. El proceso de cómo la IA toma decisiones relacionadas con los individuos debe ser fácilmente obtenido y entendido por los individuos.
Desde una perspectiva cibernética, el número y sofisticación de los ciberataques están en aumento, y esta tendencia no muestra signos de desaceleración. Sabemos que los actores de amenazas están utilizando herramientas de ataque impulsadas por IA, lo que hace imperativo que las organizaciones evalúen e implementen continuamente controles de seguridad efectivos para abordar las amenazas emergentes. Las organizaciones que no inviertan en controles de seguridad cibernética impulsados por IA encontrarán imposible prevenir los ataques que se avecinan en el horizonte. La automatización, la consolidación y los controles integrales de ciberseguridad impulsados por IA destinados a prevenir ataques recién creados deben ser componentes innegociables de su estrategia cibernética.
Los responsables de la formulación de políticas deben actuar con rapidez; estamos en los albores de una nueva carrera armamentista. El potencial benefectos de IA cose verá ensombrecido por su mal uso. Es crucial establecer un plan para responsabilizar a los responsables del uso indebido de la IA, en particular a las naciones deshonestas. Al implementar políticas sólidas y aumentar la conciencia pública, podemos trabajar juntos para mitigar los riesgos asociados con la tecnología de IA y aprovechar su potencial para el bien.
[1] "Rendición de cuentas de la IA ante la Ley: El papel de la Explicación":
Doshi-Velez, F., Kortz, M., Budish, R., Bavitz, C., Gershman, S., O'Brien, D., Scott, K., Shieber, S., Waldo, J., Weinberger, D., Weller, A. y Wood, A. (2019). Rendición de cuentas de la IA ante la Ley: El papel de la Explicación. Revista de Ciencia Tecnológica, 2 (1), 1-23. https://doi.org/10.21428/8f67922d
[2] Joshua A Kroll, Solon Barocas, Edward W Felten, Joel R Reidenberg, David G Robinson y Harlan Yu, Algoritmos Responsables, 165 U. PA. L. REV. 633, 656 (2016).
[3] Jonathan Fox, La Relación Incierta entre Transparencia y Rendición de Cuentas, 17 DESARROLLO EN LA PRÁCTICA 663, 663-65 (2007).
Post Garantizar una IA segura: enigmas de políticas para un futuro responsable apareció primero en Charla cibernética.