Consortium SHERPA: si l'IA pouvait se sentir, elle craindrait les cyberattaques des gens



Artificial intelligence (AI) is rapidly finding applications in nearly every walk of life. Self-driving cars, social media networks, cyber security companies, and everything in between uses it. But a new report published by the SHERPA consortium - an EU project studying the impact of AI on ethics and human rights that F-Secure joined in 2018 - finds that while human attackers have access to machine learning techniques, they currently focus most of their efforts on manipulating existing AI systems for malicious purposes instead of creating new attacks that would use machine learning.

L'objectif principal de l'étude est de savoir comment les acteurs malveillants peuvent abuser de l'IA, de l'apprentissage automatique et des systèmes d'information intelligents. Les chercheurs identifient une variété d'utilisations potentiellement malveillantes de l'IA qui sont bien à la portée des attaquants d'aujourd'hui, notamment la création de campagnes sophistiquées de désinformation et d'ingénierie sociale.

Et bien que la recherche n'ait trouvé aucune preuve définitive que les acteurs malveillants utilisent actuellement l'IA pour alimenter les cyberattaques, ils soulignent que les adversaires attaquent et manipulent déjà les systèmes d'IA existants utilisés par les moteurs de recherche, les sociétés de médias sociaux, les sites Web de recommandations, etc.
Andy Patel de F-Secure, chercheur au centre d'excellence en intelligence artificielle de l'entreprise, pense que beaucoup de gens trouveraient cela surprenant. Les représentations populaires de l'IA insinuent qu'elle se retournera contre nous et commencera à attaquer les gens par elle-même. Mais la réalité actuelle est que les humains attaquent régulièrement les systèmes d'IA.

'Certains humains assimilent à tort l'intelligence artificielle à l'intelligence humaine, et je pense que c'est pourquoi ils associent la menace de l'IA à des robots tueurs et à des ordinateurs hors de contrôle', explique Patel. `` Mais les attaques humaines contre l'IA se produisent en fait tout le temps. Les attaques Sybil conçues pour empoisonner les systèmes d'IA que les gens utilisent tous les jours, comme les systèmes de recommandation, sont monnaie courante. Il y a même des entreprises qui vendent des services pour soutenir ce comportement. Ironiquement, les systèmes d'IA actuels ont plus à craindre des humains que l'inverse.

Les attaques Sybil impliquent une seule entité créant et contrôlant plusieurs faux comptes afin de manipuler les données que l'IA utilise pour prendre des décisions. Un exemple populaire de cette attaque est la manipulation des classements des moteurs de recherche ou des systèmes de recommandation pour promouvoir ou rétrograder certains éléments de contenu. Cependant, ces attaques peuvent également être utilisées pour ingénier socialement des individus dans des scénarios d'attaque ciblés.

`` Ces types d'attaques sont déjà extrêmement difficiles à détecter pour les fournisseurs de services en ligne et il est probable que ce comportement soit beaucoup plus répandu que ce que quiconque comprend parfaitement '', explique Patel, qui a effectué des recherches approfondies sur les activités suspectes sur Twitter.

Mais peut-être que l'application la plus utile de l'IA pour les attaquants à l'avenir les aidera à créer de faux contenus. Le rapport note que l'IA a progressé à un point où elle peut fabriquer un contenu écrit, audio et visuel extrêmement réaliste. Certains modèles d'IA ont même été cachés au public pour éviter qu'ils ne soient maltraités par des attaquants.

«Pour le moment, notre capacité à créer un faux contenu convaincant est beaucoup plus sophistiquée et avancée que notre capacité à le détecter. Et l'IA nous aide à améliorer la fabrication de l'audio, de la vidéo et des images, ce qui ne fera que rendre la désinformation et les faux contenus plus sophistiqués et plus difficiles à détecter '', explique Patel. «Et il existe de nombreuses applications différentes pour de faux contenus convaincants, donc je pense que cela pourrait devenir problématique.»

L'étude a été produite par F-Secure et ses partenaires dans SHERPA - un projet financé par l'UE fondé en 2018 par 11 organisations de 6 pays différents. Les autres conclusions et sujets abordés dans l'étude comprennent:
  • Les adversaires continueront d'apprendre à compromettre les systèmes d'IA à mesure que la technologie se propage
  • Le nombre de façons dont les attaquants peuvent manipuler la sortie de l'IA rend ces attaques difficiles à détecter et à durcir.
  • Les pouvoirs en concurrence pour développer de meilleurs types d'IA à des fins offensives / défensives pourraient finir par précipiter une `` course aux armements de l'IA ''
  • La sécurisation des systèmes d'IA contre les attaques peut entraîner des problèmes éthiques (par exemple, une surveillance accrue des activités peut empiéter sur la confidentialité des utilisateurs)
  • Les outils et modèles d'IA développés par des acteurs de la menace avancés et disposant de ressources suffisantes finiront par proliférer et seront adoptés par des adversaires peu qualifiés
    Le professeur Bernd Stahl, coordinateur du projet SHERPA, de l'Université De Montfort Leicester, a déclaré que le rôle de F-Secure dans SHERPA en tant que partenaire unique de l'industrie de la cybersécurité aide le projet à expliquer comment les acteurs malveillants peuvent utiliser l'IA pour saper la confiance dans la société.
«L'objectif de notre projet est de comprendre les conséquences éthiques et sur les droits de l'homme de l'IA et de l'analyse des mégadonnées pour aider à développer des moyens de les résoudre. Ce travail doit être basé sur une bonne compréhension des capacités techniques ainsi que des vulnérabilités, un domaine d'expertise crucial que F-Secure contribue au consortium », explique Stahl. `` Nous ne pouvons pas avoir de conversations significatives sur les droits de l'homme, la vie privée ou l'éthique dans l'IA sans prendre en compte la cybersécurité. Et en tant que digne de confiance
Source de connaissances en matière de sécurité, les contributions de F-Secure sont au cœur du projet. »

The full-length study is currently available here. More information on artificial intelligence and cyber security is available on F-Secure's blog, or F-Secure's News from the Labs research blog.