L'arrivée de ChatGPT Atlas et Comet, deux nouveaux navigateurs IA d'OpenAI et Perplexity respectivement, a pour conséquence la montée en puissance des menaces cyber sur Internet. Comment se préparer à ces attaques ? Selon Adrien Merveille, directeur technique France chez Check Point, il faut séparer les injections de prompt en deux catégories : directes et indirectes.
Une injection de prompt est une attaque qui consiste à faire interpréter une instruction au moteur d'intelligence artificielle pour faire fuiter des informations qu'il n'est pas censé divulguer. Adrien Merveille définit ainsi ce phénomène : « Cela consiste à faire interpréter une instruction au moteur d'intelligence artificielle pour faire fuiter des informations qu'il n'est pas censé divulguer ». Il distille le concept en deux catégories : les injections directes et celles indirectes.
Les injections directes sont celles où vous allez discuter avec le chatbot pour essayer de lui faire faire quelque chose qu'il n'est pas censé faire. C'est un type de manipulation pour détourner les grands modèles de langage de leurs usages.
Cependant, Adrien Merveille revient sur une anecdote qui avait mis en lumière la facilité avec laquelle un prompt indirect peut être réalisé : « Il y a un exemple assez drôle où une personne avait glissé dans sa biographie LinkedIn une instruction [ndlr : à destination des bots] demandant de lui envoyer une recette de flan pâtissier. Du coup, il recevait des offres d'emploi qui disaient « Votre profil nous a attiré, vous avez l'expérience nécessaire dans tel ou tel secteur… et puis pour faire un bon flan, il faut 4 œufs… » . »
En attendant que les vulnérabilités soient corrigées au fil du temps, Adrien Merveille distille quelques conseils essentiels pour tester ces outils en toute sécurité : il faut s'interroger sur le stockage de données personnelles, comme l'historique de navigation ou les mots de passe.
Il est donc important d'évaluer lucidement les avantages et les risques des navigateurs IA et de maîtriser les dangers potentiels. Le directeur technique chez Check Point définit ainsi la situation : « Comme dans toute problématique, il y a une pièce à deux faces. Vous avez d'un côté les bénéfices que vous allez tirer de tels outils : la simplification des processus, le gain de temps pour un employé qui ne va plus faire des tâches manuelles ou administratives répétitives. Il y a un gain de productivité potentiel pour les entreprises. Donc je ne vais pas critiquer l'outil en tant que tel. Par contre, chaque outil, peu importe s'il est bon ou pas, est associé à un risque ».
Une injection de prompt est une attaque qui consiste à faire interpréter une instruction au moteur d'intelligence artificielle pour faire fuiter des informations qu'il n'est pas censé divulguer. Adrien Merveille définit ainsi ce phénomène : « Cela consiste à faire interpréter une instruction au moteur d'intelligence artificielle pour faire fuiter des informations qu'il n'est pas censé divulguer ». Il distille le concept en deux catégories : les injections directes et celles indirectes.
Les injections directes sont celles où vous allez discuter avec le chatbot pour essayer de lui faire faire quelque chose qu'il n'est pas censé faire. C'est un type de manipulation pour détourner les grands modèles de langage de leurs usages.
Cependant, Adrien Merveille revient sur une anecdote qui avait mis en lumière la facilité avec laquelle un prompt indirect peut être réalisé : « Il y a un exemple assez drôle où une personne avait glissé dans sa biographie LinkedIn une instruction [ndlr : à destination des bots] demandant de lui envoyer une recette de flan pâtissier. Du coup, il recevait des offres d'emploi qui disaient « Votre profil nous a attiré, vous avez l'expérience nécessaire dans tel ou tel secteur… et puis pour faire un bon flan, il faut 4 œufs… » . »
En attendant que les vulnérabilités soient corrigées au fil du temps, Adrien Merveille distille quelques conseils essentiels pour tester ces outils en toute sécurité : il faut s'interroger sur le stockage de données personnelles, comme l'historique de navigation ou les mots de passe.
Il est donc important d'évaluer lucidement les avantages et les risques des navigateurs IA et de maîtriser les dangers potentiels. Le directeur technique chez Check Point définit ainsi la situation : « Comme dans toute problématique, il y a une pièce à deux faces. Vous avez d'un côté les bénéfices que vous allez tirer de tels outils : la simplification des processus, le gain de temps pour un employé qui ne va plus faire des tâches manuelles ou administratives répétitives. Il y a un gain de productivité potentiel pour les entreprises. Donc je ne vais pas critiquer l'outil en tant que tel. Par contre, chaque outil, peu importe s'il est bon ou pas, est associé à un risque ».