Trojan
© Pixabay
Chaque nouvelle percée technologique s'accompagne apparemment d'une nouvelle façon pour les pirates informatiques de tous nous tuer : les voitures autonomes, les armes spatiales et même les systèmes de sécurité nucléaire sont vulnérables face à quelqu'un qui a les bonnes connaissances et un peu de code. Désormais, l'intelligence artificielle d'apprentissage en profondeur semble être la prochaine grande menace, et non pas parce qu'elle gagnera en conscience à nous tuer avec des robots (comme a prévenu Elon Musk) : un groupe d'informaticiens américains et chinois a récemment publié un article proposant le tout premier cheval de Troie pour un réseau neuronal.

Les réseaux neuronaux sont le principal outil utilisé dans l'IA pour accomplir un "apprentissage profond", ce qui a permis aux IA de maîtriser des tâches complexes comme jouer aux échecs et au Go. Les réseaux neuronaux fonctionnent comme un cerveau humain, d'où leur nom. L'information passe par des couches de connexions neuronales, qui analysent ensuite l'information et recrachent une réponse.

Ces réseaux peuvent accomplir des tâches difficiles comme la reconnaissance d'images, y compris l'identification des visages et des objets, ce qui les rend utiles pour la conduite automobile (pour identifier les panneaux d'arrêt et les piétons) et la sécurité (qui peut impliquer l'identification du visage d'un utilisateur autorisé). Les réseaux neuronaux sont des pièces relativement nouvelles de la technologie et ne sont pas encore couramment utilisés par le public, mais, à mesure que l'intelligence artificielle à apprentissage profond devient plus répandue, elle deviendra probablement une cible attrayante pour les pirates informatiques.

Le cheval de Troie proposé dans le document, appelé "PoTrojan", pourrait être inclus dans un logiciel de réseau neuronal dès le début ou inséré plus tard comme une légère modification. Comme un cheval de Troie classique, il ressemble à une pièce normale du logiciel, ne se copie pas lui-même, et ne fait pas grand-chose... Jusqu'à ce que les bons déclencheurs se soient activés.

Une fois que les bonnes entrées sont activées dans un réseau neuronal, ce cheval de Troie détourne l'opération et injecte son propre train de "pensée", s'assurant que le réseau recrache la réponse qu'il veut. Cela pourrait prendre la forme de rejeter le visage d'un véritable utilisateur et de lui refuser l'accès à son appareil, ou de ne pas reconnaître délibérément un panneau d'arrêt pour créer un accident de voiture.

Comme disent les auteurs de l'article, le fonctionnement interne d'un réseau neuronal ressemble beaucoup à une boîte noire: on ne sait pas ce qu'il contient, mais seulement ce qui entre et ce qui sort. Si un réseau est piraté, on ne s'en rendra pas compte avant qu'il ne soit trop tard.