Nos machines en Open Bar

Devrions-nous autoriser l’IA à accéder de manière privilégiée à nos systèmes? La plupart des services en vogue à l'heure actuelle cherchent à promouvoir un usage débridé sur nos systèmes de manière à automatiser un maximum de tâches.

Je trouve cela un peu fou de voir le nombre d’utilisateurs qui se précipitent sur une utilisation débridée de l’IA alors que pour la quasi-totalité de ces utilisateurs l’IA est une boîte noire¹.

L’IA exécute des commandes

Même si la plupart de ces outils proposent des systèmes de règles et/ou de listes blanches et noires pour contrôler l’exécution de commande, ces approches sont de manière générales plutôt limitées.

Par exemple, il est possible de définir l’interdiction d’utiliser la commande rm et ceci empêchera l’IA d’utiliser cette commande directement. Cependant, rien ne l’empêchera de créer un simple script shell qui contient cette même commande puis de l'exécuter ensuite.

L’infiltration de requête

Toute nouvelle technologie implique une nouvelle surface d’attaque.

Un des grands enjeux des fournisseurs de services d’IA à l’heure actuelle est de prémunir ses utilisateurs contre les attaques de type infiltration de requête². Ce type d’attaque permet à un attaquant d’influencer le comportement de l’IA.

Le bac à sable

Une fois que l’on a appréhendé ces informations, il me semble recommandé d’utiliser l’IA de manière isolée, si possible dans leur propre bac à sable³.

Il est alors possible d’utiliser une machine virtuelle, un conteneur⁴ ou encore d’isoler l’IA directement sur le système via des outils comme bubblewrap. On notera aussi l’émergence de nouveaux services pour répondre à ces attentes de sécurité tels que sprites.dev ou exe.dev.

Utiliser l’IA dans un environnement isolé possède un avantage: celui de réduire la friction lié à la gestion des autorisations durant le développement. Si l’IA est utilisée dans un système complètement isolé, et idéalement jetable, il est alors possible de l’utiliser avec peu de supervision ce qui permet d’arriver à des résultats plus rapidement.