Recall – Une fausse bonne idée et des risques trop forts pour notre sécurité

Il y a quelques jours, la société Microsoft (le 20 mai 2024 sur son blog) annonçait une toute nouvelle fonctionnalité disponible pour les systèmes disposant des fonctionnalités d’intelligence artificielle appelés « Copilot+PC », à savoir les ordinateurs disposant de composants dédiés à l’intelligence artificielle (NPU ou « neural processing unit ») pour lesquels des options supplémentaires de Windows sont développées.

En effet, cette nouveauté est révélée au moment de mettre en avant cette nouvelle gamme de fonctionnalités et il s’agit manifestement de créer un effet « waouh » démonstratif des capacités et des ambitions de Microsoft dans le domaine.

Présentation de la fonctionnalité Recall

Le principe qui nous est expliqué et que des captures de l’écran sont réalisées régulièrement, traitées par les fonctionnalités d’intelligence artificielle de Windows permettant ensuite à l’utilisateur de faire des recherches en langue naturelle jusqu’à trois mois en arrière, puis d’afficher les résultats correspondants sous forme graphique.

Traduit automatiquement (certainement par une IA), la fonction s’appellerait en français « Rappel » et est décrite sur le site de l’éditeur. Il semblerait que Recall aille plus loin que l’interprétation des images, mais se cale aussi par rapport aux différentes applications utilisées (et y capture peut-être des informations directement), puisqu’il est possible de filtrer les résultats par application.

Réactions de la communauté

Les réactions ne se sont pas faites attendre dans les communautés attentives à la sécurité numérique et à la vie privée.

Dans la communauté de la sécurité numérique, c’est Kevin Beaumont (alias GossiTheDog) qui est le plus souvent cité, car ayant réalisé lui-même un certain nombre d’essais pour en avoir le cœur net et publié ses résultats sur ses comptes de réseaux sociaux.

L’inquiétude de Kevin Beaumont est expliquée très clairement dès le départ: Microsoft ne proposerait ni plus ni moins que d’intégrer par défaut dans son système d’exploitation une fonctionnalité qui est typique des logiciels malveillants de type « infostealer » (voir par exemple le blog de Sekoia qui décrit régulièrement ces logiciels malveillants), documentée d’ailleurs comme la technique T1113 dans le référentiel MITRE ATT&CK. En fait, même si T1113 référence la notion de capture d’écran telle qu’on peut la faire soi-même sur son ordinateur ou téléphone mobile, elle est ici implémentée par Recall de façon systématique par défaut, permanente (toutes les x secondes) sauf quand on la mettrait en pause, requêtable et accolée à une base de données.

Dans son article de blog écrit quelques heures plus tard, Kevin Beaumont démontre comment un attaquant va pouvoir facilement exploiter Recall et récupérer les informations ainsi stockées. En particulier, les informations ne sont pas stockées de façon plus sécurisée que les données habituelles d’utilisation du système d’exploitation et une partie au moins de l’indexation est réalisé dans une simple base SQLite, c’est-à-dire un fichier texte, stocké dans un des répertoires du système (accessible avec les droits d’administrateur, mais aussi requêtable par l’utilisateur lui-même via son interface Recall donc peut-être ultérieurement via une interface de programmation avec les droits de l’utilisateur).

Dans la communauté de la défense de la vie privée, on peut citer Eva Galperin, experte de l’Electronic frontier foundation et intervenant notamment dans le cadre de la Coalition contre les stalkerwares (logiciels espions qui peuvent être utilisés notamment par des proches abusifs):

En effet encore, la défense consistant à dire qu’il n’est possible d’accéder que physiquement aux données ne tient pas la route, puisque dans une grande partie des abus constatés par la Coalition, c’est justement un proche qui installe et consulte l’historique de sa victime et qui aura ici d’autant plus de facilité à l’imposer de façon toxique que ce serait une fonction du système dont la désactivation lui paraîtra suspecte et qui de toutes façons fait tout pour connaître ou contrôler les mots de passe utilisés par sa victime.

L’autorité britannique en charge de la protection des données personnelles ICO a quant à elle déclaré ouvrir une enquête, dans un premier temps en interrogeant l’éditeur.

Scénarios problématiques

Derrière le risque même que pose cette fonctionnalité, il convient de décrire concrètement les situations problématiques qu’elle rend possibles, exploitables par les acteurs malveillants ou des logiciels malveillants totalement automatisés :

• capture de conversations confidentielles (à l’insu des correspondants) – pourra-t-on faire confiance à un utilisateur de Microsoft Windows lors d’une visio-conférence pour ne pas prendre de copies d’écran ?
• capture de données qui s’affichent dans les logiciels de gestion de mots de passe
• capture et interprétation de messages malveillants (spams) affichés sur l’écran, y compris de liens suspects qui pourraient se retrouver dans l’historique Recall alors même qu’on aurait déjà supprimé le message suspect ?
• et bien sûr, atteintes à la propriété intellectuelle (contrefaçon d’images et de vidéos)
• comme évoqué plus haut, espionnage forcé par un proche abusif (plus besoin de « stalkerware » imposé, il est ici installé par défaut dans les systèmes Windows avec cette fonction Recall)
• copies de documents confidentiels et échappement aux procédures de lutte contre les fuites de données implémentées dans les organisations (le DLP ou data loss prevention, comme documenté ici sur le site de Microsoft)

En plus de ces enjeux de sécurité, cette fonctionnalité pourrait poser des grosses questions de perte de temps et d’espace disque:

• est-ce qu’il est bien utile de conserver une mémoire des informations qu’on a volontairement supprimées (les spams qu’on a supprimés de sa boîte de courrier électronique qui réapparaîtraient dans les recherches) ?
• les nombreuses publicités qui s’affichent sur l’écran ne vont-elles pas encombrer inutilement le disque dur ?
• ou bien encore, est-il bien utile de conserver plusieurs fois au format image la copie d’un texte et les mots indexés à l’intérieur du texte, d’un document qu’on est en train d’éditer ?

Réponses apportées par Microsoft

Les réponses de Microsoft sont de deux niveaux (documentés sur page Web décrivant la fonctionnalité) :

• les données sont protégées par le système d’exploitation et ne sont accessibles que grâce à un accès physique;
• il est possible de désactiver totalement, temporairement ou par application la fonctionnalité Recall, et celle-ci est désactivée par défaut lors de la navigation Web dite « privée ».

Sur le premier point, Kevin Beaumont (voir plus haut) et d’autres ont clairement démontré que ce n’était pas une véritable protection contre les accès malveillants. Les systèmes d’exploitation de Microsoft ont beaucoup progressé en sécurité au cours des dix dernières années, Recall y crée une brèche non raisonnable.

Analyse personnelle

Sur le plan sécuritaire, je rejoins l’analyse de l’ensemble des experts résumée ci-dessus, la fonctionnalité Recall telle qu’elle est implémentée ne devrait pas être activée par défaut et je déconseille à tout responsable de la sécurité des systèmes d’information de l’autoriser dans son organisation.

Est-ce qu’une telle fonctionnalité de mémoire est souhaitable ? Oui pourquoi pas, on peut imaginer une fonction (intégrée au système, mais aussi pourquoi pas offerte par un éditeur tiers), permettant d’enregistrer de façon ciblée des sessions de travail et pas uniquement par des copies d’écran, mais aussi par des collectes de données utiles spécifiques à chaque application. Ainsi, on pourrait imaginer un collecteur de ces métadonnées d’activité – et éventuellement de copies d’écran prises aux moments appropriés – adapté à tous les types de logiciels, exploitant dans un format ouvert les étapes de travail dans son logiciel de création graphique, de bureautique ou de travail en groupe.