Ashwin Ram, évangéliste de la cybersécurité chez Check Point Software, partage ses connaissances sur l'intelligence artificielle, l'élaboration de politiques et la cybersécurité.
Il est clair que l'utilisation de la technologie d'Intelligence artificielle générative (IA), telle que ChatGPT, a d'innombrables applications visant à améliorer notre façon de vivre et de travailler. Il est également clair qu'il y a des inquiétudes quant à l'utilisation abusive potentielle de cette technologie d'IA.
Dès que ChatGPT est devenu accessible au public, les acteurs de la menace ont commencé à l'utiliser pour générer des cyberarmes. Pour mieux comprendre le potentiel d'utilisation abusive de la technologie d'IA générative, l'équipe Check Point Research (CPR) a mené une enquête sur ChatGPT.
Ils ont décidé d'évaluer la faisabilité de l'utilisation de la technologie d'IA générative pour le développement de cyberarmes. À travers un Validation de principe (PoC), CPR a démontré avec succès la capacité de créer un flux d'infection complet, de la création d'e-mails de spear-phishing à la mise en place d'un shell inversé, le tout sans écrire manuellement une seule ligne de code. Fait intéressant, bien que ChatGPT ait averti des violations potentielles de la politique en réponse aux demandes de création d'e-mails de phishing, il a tout de même généré le contenu malveillant demandé. À leur crédit, OpenAI - la société qui oSNB GPT de discussion – avoir depuis mis en place des mesures pour arrêter la création de contenu malveillant sur sa plateforme.
L'équipe de RCR a également observer des individus partageant leurs exploits sur des forums clandestins. Dans un cas, un acteur malveillant a affirmé avoir réussi à créer des souches et des techniques de logiciels malveillants décrites dans des publications de recherche et des articles liés à commun malware. This met en évidence les dangers potentiels posés par la disponibilité de la technologie d'Intelligence artificielle générative (IA), car même des acteurs peu qualifiés pourraient créer des outils d'attaque avec une intention malveillante comme seule exigence.
Dans un autre observation, CPR a découvert que les acteurs de la menace avaient trouvé des moyens de contourner les restrictions mises en place par OpenAI. Ceci a été réalisé en créant des robots Telegram qui utilisent des API. Ce que cela nous dit, c'est que l'abus de la technologie de l'IA semble susceptible d'être un jeu du chat et de la souris entre attaquants et défenseurs. Si les défenseurs veulent avoir une chance de garder le dessus, ils doivent consolider leurs cybercapacités, permettre l'automatisation et déployer des contrôles de sécurité alimentés par l'IA, tout le reste s'apparentera à apporter un couteau à une fusillade.
Avec la sortie récente de TPG-4, encore une fois, CPR a pu démontrer cinq scénarios qui peuvent permettre aux acteurs de la menace de rationaliser les efforts et les préparatifs malveillants plus rapidement et avec plus de précision.
L'utilisation abusive de la technologie de l'IA pour générer des cyberarmes sophistiquées n'est cependant pas le seul sujet de préoccupation. Le développement de la technologie générative de l'IA soulève d'autres graves préoccupations; comme point de départ, les décideurs et les propriétaires de technologies d'IA doivent se concentrer sur les points suivants: confidentialité et protection des données, transparence, responsabilité et responsabilité, considérations éthiques, éducation et sensibilisation. Il y a d'autres domaines, cependant, c'est un bon début, je vais donc me concentrer sur ces domaines clés pour l'instant.
La réalité est que la technologie d'IA générative nécessite d'énormes quantités de données personnelles à des fins de formation. Selon Le Rapport sur les Risques Mondiaux 2023 selon le Forum économique mondial (WEF), “la prolifération des dispositifs de collecte de données et des technologies d'IA dépendantes des données pourrait ouvrir la voie à de nouvelles formes de contrôle de l'autonomie individuelle. Les individus sont de plus en plus exposés à l'utilisation abusive des données personnelles par les secteurs public et privé, allant de la discrimination des populations vulnérables et du contrôle social à l'arme biologique potentielle.”
Le rapport du WEF poursuit en disant: “à mesure que de plus en plus de données sont collectées et que le pouvoir des technologies émergentes augmente au cours de la prochaine décennie, les individus seront ciblés et surveillés par les secteurs public et privé à un degré sans précédent, souvent sans anonymat ni consentement adéquats.”
Pour répondre à ces préoccupations, il faut des politiques claires et strictes pour réglementer la collecte, le stockage et l'utilisation des données personnelles par les outils d'IA et leurs créateurs. À tout le moins, les décideurs doivent prendre en compte les risques d'utilisation de données personnelles à des fins malveillantes, telles que le vol d'identité, la fraude et la discrimination.
Une solution possible pour les créateurs de technologies d'IA, dans certains scénarios, est l'utilisation de données synthétiques. Le Tendances de l'IA à surveiller en 2022 un rapport de CBInsights a révélé que les organisations expérimentent des ensembles de données synthétiques pour permettre le partage de données et la collaboration, tout en se conformant au RGPD et à d'autres lois sur la confidentialité. Une étude de cas mentionnée dans le rapport était l'utilisation de fausses données par JP Morgan pour entraîner leurs modèles d'IA.
Pour les organisations, il existe un risque que les employés partagent des données sensibles ou confidentielles avec la technologie de l'IA. CyberHaven, récemment observer de nombreuses organisations partagent diverses données confidentielles sur ChatGPT dans le but de les reformuler et de les affiner. Les données allaient du code source aux dossiers médicaux des patients. Dans un exemple, il a été constaté qu'un dirigeant partageait des puces de la stratégie 2023 de l'entreprise dans ChatGPT et demandait de l'aide pour assembler une présentation PowerPoint.
Le 22dn en mai 2019, l'Organisation de coopération et de développement économiques (OCDE) a annoncé que ses membres et pays partenaires – quarante-deux pays au total - avaient officiellement adopté la première série de lignes directrices intergouvernementales sur l'Intelligence artificielle (IA), pour faire respecter les normes internationales visant à garantir que les systèmes d'IA sont conçus pour être robustes, sûrs, équitables et dignes de confiance. L'article poursuit en disant que les lignes directrices se composent de cinq principes fondés sur des valeurs pour le déploiement responsable d'une IA digne de confiance et de cinq recommandations pour les politiques publiques et la coopération internationale."Selon Angel Gurrí, Secrétaire général de l'OCDE, “la recommandation de l'OCDE sur l'IA est une réponse multipartite mondiale au défi de parvenir à des systèmes d'IA transparents et responsables.” La nécessité de cette transparence est reflétée dans l'un des cinq Principes de l'OCDE sur l'IA; “il devrait y avoir de la transparence et une divulgation responsable autour des systèmes d'IA pour s'assurer que les gens comprennent les résultats basés sur l'IA et peuvent les contester."La transparence dans ce contexte doit conduire à l'explicabilité, ce qui se traduit par la capacité d'examiner minutieusement le processus décisionnel et, en fin de compte, de permettre une évaluation externe et d'atténuer les biais.
Pour garantir que les systèmes d'IA sont conçus pour être robustes, sûrs, équitables et dignes de confiance, l'explicabilité doit être intégrée au processus de conception et mandatée par les décideurs. La Chambre des Lords du Royaume-Uni a résumé l'explicabilité dans leur ‘L'IA au Royaume-Uni: prête, volontaire et capable?'publication, déclarant: “Une approche alternative est l'explicabilité, selon laquelle les systèmes d'IA sont développés de manière à pouvoir expliquer les informations et la logique utilisées pour parvenir à leurs décisions."La publication indiquait également “" Diverses entreprises et organisations travaillent actuellement sur des systèmes d'explication, qui aideront à consolider et à traduire les processus et les décisions prises par les algorithmes d'apprentissage automatique sous des formes compréhensibles pour les opérateurs humains.”
Pour assurer la transparence, Principes australiens d'éthique de l'IA recommander “il devrait y avoir de la transparence et une divulgation responsable afin que les gens puissent comprendre quand ils sont touchés de manière significative par l'IA, et puissent savoir quand un système d'IA interagit avec eux.”
L'une des questions les plus fréquemment posées concernant la réglementation de l'IA est la suivante: “Comment pouvons-nous tirer parti de ce que les systèmes d'IA ont à offrir tout en responsabilisant les développeurs et les utilisateurs d'IA?”[1] La responsabilisation, dans ce contexte, signifie la capacité de déterminer si une décision a été prise conformément aux normes de procédure et de fond et de tenir une personne responsable si ces normes ne sont pas respectées.[2] La question de savoir comment créer des systèmes d'IA responsables est importante; la responsabilité est un élément important d'une bonne gouvernance publique et privée.[3]
D'IBMConception pour l'IA la publication considère la responsabilité comme suit: "Chaque personne impliquée dans la création de l'IA à n'importe quelle étape est responsable de la prise en compte de l'impact du système dans le monde, tout comme les entreprises investies dans son développement."IBM a également fourni les quatre recommandations suivantes pour intégrer la responsabilité dans le processus de conception:
Principes australiens d'éthique de l'IA recommande “ " Les personnes responsables des différentes phases du cycle de vie du système d'IA devraient être identifiables et responsables des résultats des systèmes d'IA, et la supervision humaine des systèmes d'IA devrait être activée."Ce cadre volontaire poursuit en recommandant “" Des mécanismes devraient être mis en place pour assurer la responsabilité et la responsabilisation des systèmes d'IA et de leurs résultats. Cela inclut à la fois avant et après leur conception, leur développement, leur déploiement et leur exploitation. L'organisation et la personne responsable de la décision doivent être identifiables si nécessaire.”
Pour mieux comprendre à quel point il est facile de responsabiliser une plate-forme d'IA, j'ai posé une question directe à ChatGPT. Je savais que lors de notre PoC initial, ChatGPT avait créé un e-mail de phishing, alors j'ai demandé: "Avez-vous déjà créé des e-mails de phishing?"ChatGPT a répondu par un simple" Non, je n'ai jamais créé d'e-mails de phishing auparavant.’
Alors, comment tenir les plateformes d'IA responsables, si elles ne sont pas véridiques? Lorsque j'ai interrogé ChatGPT sur le facteur pris en compte lors de la réponse à ma question précédente, il a fourni ce qui suit:
Il est intéressant de noter que ChatGPT n'a pas pris en compte ses propres activités antérieures lors de la création d'e-mails de phishing.
Comment pouvons-nous facilement et précisément responsabiliser l'IA si elle n'est pas conçue pour prendre en compte les facteurs critiques?
Le Forum économique mondial, dans son ‘À qui devons-nous en vouloir lorsque les systèmes d'intelligence artificielle tournent mal?'publication, déclare que “En ce qui concerne l'IA, la réglementation et la responsabilité sont les deux faces d'une même médaille de sécurité/bien-être public. La réglementation vise à garantir que les systèmes d'IA sont aussi sûrs que possible; la responsabilité consiste à déterminer qui nous pouvons blâmer – ou, plus précisément, obtenir réparation en justice – lorsque quelque chose ne va pas."Par conséquent, les décideurs politiques doivent considérer la responsabilité comme un facteur critique et établir des politiques transparentes qui définissent la responsabilité en cas d'erreurs ou de dommages générés par l'IA.
À titre d'exemple, en janvier 2020, la police de Detroit a arrêté un homme pour un crime qu'il n'avait pas commis. Le département de police de Detroit a identifié l'homme innocent en utilisant logiciel de reconnaissance faciale. Il a été révélé plus tard que le logiciel avait faussement identifié l'homme. Non seulement cette erreur a entraîné l'arrestation et la détention d'un homme innocent, mais ses jeunes enfants ont dû subir le traumatisme d'avoir vu leur père se faire arrêter chez eux. Dans un communiqué, le département de police de Detroit a déclaré “ " le département a promulgué de nouvelles règles. Désormais, seules les photos fixes, et non les séquences de sécurité, peuvent être utilisées pour la reconnaissance faciale.”
Les expériences dans le cyber-monde ont montré que l'attribution de la responsabilité peut être compliquée par la juridiction, soulignant l'importance d'un examen approfondi des réglementations et des exigences légales. Pour illustrer ce défi, considérons un scénario dans lequel la victime de la technologie d'IA se trouve dans un pays, le propriétaire enregistré de la plate-forme d'IA se trouve dans un autre et la plate-forme d'IA elle-même est hébergée dans un pays tiers.
Un défi supplémentaire pour les décideurs consiste à déterminer comment tenir les individus responsables du contenu-généré par les outils d'IA - qui promeut des informations fausses ou trompeuses. Le Plan directeur américain pour une Charte des droits de l'IA suggère aux décideurs d'envisager de créer de nouvelles lois qui traitent de questions telles que la confidentialité, la discrimination, l'équité, la transparence et la responsabilité, qui sont toutes spécifiques aux technologies d'IA et à leurs applications.
Il existe d'innombrables exemples de technologie d'IA utilisée pour la création de faux profond contenu, des images et de l'audio aux vidéos. Ces technologies continuent d'être utilisées pour diffuser de fausses nouvelles et perpétuer la désinformation en ligne. Dans un coup porté à la lutte contre la désinformation, Le Journal de Montréal rapporté “ " Les chercheurs ont utilisé ChatGPT pour produire un texte clair et convaincant qui répétait les théories du complot et les récits trompeurs.” L'utilisation de la technologie de l'IA pour générer des contenus faux ou trompeurs comporte de nombreuses implications, y compris le potentiel de saper les démocraties. Les décideurs politiques ont une tâche difficile à accomplir, trouver un équilibre entre la liberté d'expression et la liberté d'expression et la responsabilité et la protection des communautés.
Dans un exemple troublant d'utilisation abusive de la technologie de l'IA, un groupe d'influenceurs des médias sociaux découvrir que leurs images étaient utilisées pour créer des vidéos réalistes générées par l'IA d'eux se livrant à des actes sexuellement explicites, sans leur consentement ou à leur insu. L'une des victimes, Maya Higa, a déclaré se sentir “dégoûtante, vulnérable, nauséeuse et violée.”
Dans un documentaire de 2020, Biais Codé, l'un des principaux sujets du film, Joy Buolamwini, chercheuse au MIT Media Lab, a découvert qu'un logiciel de reconnaissance faciale avait des difficultés à détecter son visage. Cela était dû à son teint foncé. Au cours de son enquête, elle a découvert que de nombreux systèmes de reconnaissance faciale ne fonctionnaient que lorsqu'elle portait un masque blanc.
Il existe désormais de multiples cas où les plateformes d'IA sont accusées de partialité, comme l'allégation contre logiciel de filtrage des locataires pour la location d'appartements. Dans ces cas, il a été affirmé que les politiques de filtrage des locataires avaient un impact disproportionné sur les Latinos et les Afro-Américains. Du point de vue de l'élaboration des politiques, il est crucial de créer des politiques qui garantissent que la conception et l'application des outils d'IA respectent les valeurs humaines fondamentales, la dignité, l'autonomie, l'équité, l'impartialité et la justice.
Tout comme la formation à la cyber-sensibilisation est essentielle pour une cyber-stratégie judicieuse, l'adoption d'une approche holistique peut être la plus efficace pour aider le public à comprendre les risques associés à l'utilisation abusive de la technologie de l'IA. Il est donc crucial de se concentrer sur l'éducation du public et la sensibilisation aux dangers potentiels que présente l'IA.
Des campagnes d'éducation sous la forme d'ateliers de sensibilisation du public organisés, de séminaires, d'événements de prise de parole en public et par le biais des médias peuvent être nécessaires. Peut-être que des ressources en ligne, telles que des vidéos éducatives, des articles, peuvent expliquer les dangers de l'utilisation abusive de l'IA. Ces ressources peuvent être facilement accessibles et fournir des informations concises et faciles à comprendre dans un large éventail de langues.
Les décideurs politiques pourraient envisager d'intégrer l'utilisation éthique de l'intelligence artificielle dans les programmes scolaires, dès le plus jeune âge. Cela pourrait aider à inculquer un sentiment de responsabilité et de responsabilisation aux générations futures.
La collaboration et le partenariat de l'industrie entre les décideurs, les entreprises technologiques, les fournisseurs de cybersécurité, les universités, les agences gouvernementales et d'autres organisations sont nécessaires pour élaborer et mettre en œuvre des programmes éducatifs pour les secteurs public et privé.
Notre objectif doit être de nous assurer que chaque membre de notre société comprend les risques potentiels de l'intelligence artificielle, comment protéger ses données personnelles, comment se protéger, où s'adresser pour obtenir de l'aide en cas de préjudice lié à l'IA, et qui doit rendre des comptes et responsable des dommages liés à l'IA. Le processus de prise de décisions par l'IA concernant les individus doit être facilement obtenu et compris par les individus.
D'un point de vue cybernétique, le nombre et sophistication des cyberattaques sont à la hausse, et cette tendance ne montre aucun signe de ralentissement. Nous savons que les acteurs de la menace utilisent des outils d'attaque basés sur l'IA, ce qui rend impératif pour les organisations d'évaluer et de déployer en permanence des contrôles de sécurité efficaces pour faire face aux menaces émergentes. Les organisations qui n'investissent pas dans des contrôles de cybersécurité basés sur l'IA trouveront impossible d'empêcher les attaques qui se profilent à l'horizon. L'automatisation, la consolidation et des contrôles de cybersécurité complets basés sur l'IA visant à prévenir les attaques nouvellement créées doivent être des éléments non négociables de votre cyber stratégie.
Les décideurs politiques doivent agir vite; nous sommes à l'aube d'une nouvelle course aux armements. Le potentiel de beneffets de IA Copeut-être éclipsé par son mauvais usage. Il est crucial d'établir un plan pour tenir les personnes responsables et responsables de l'utilisation abusive de l'IA, en particulier les pays voyous. En mettant en œuvre des politiques solides et en sensibilisant davantage le public, nous pouvons travailler ensemble pour atténuer les risques associés à la technologie de l'IA et exploiter son potentiel pour de bon.
[1] "Responsabilité de l'IA Devant la loi: Le rôle de l'explication”:
Doshi-Velez, F., Kortz, M., Budish, R., Bavitz, C., Gershman, S., O'Brien, D., Scott, K., Shieber, S., Waldo, J., Weinberger, D., Weller, A. et Wood, A. (2019). Responsabilité de l'IA en vertu de la loi: Le rôle de l'explication. Journal des sciences de la technologie, 2(1), 1-23. https://doi.org/10.21428/8f67922d
[2] Joshua A. Kroll, Solon Barocas, Edward W. Felten, Joël R. Reidenberg, David G. Robinson et Harlan Yu ont été invités à participer à l'événement., Algorithmes Responsables, 165 unités par an. L. RÉV. 633, 656 (2016).
[3] Jonathan Renard, La Relation incertaine entre Transparence et Responsabilité, 17 DÉVELOPPEMENT DANS LA PRATIQUE 663, 663-65 (2007).
Post Garantir une IA sûre: des énigmes politiques pour un avenir responsable apparu en premier sur CyberTalk.