Quand la montre connectée détermine ce que l’on tape au clavier
C’est un trio de chercheurs de l’université de L’Illinois, He Wang, Romit Roy Choudhury et Ted Tsung-Te Lai qui s’est posé cette question simple : quelle quantité d’informations peut-on extraire des données d’accéléromètre et de gyroscope d’une montre connectée au poignet d’une personne qui tape du texte sur un clavier ? Dans quelle mesure ces données peuvent-elles être utilisées pour déterminer ce que tape le porteur ? En d’autres termes, est-ce qu’une l’exploitation habile des données d’une Apple Watch, ou autre (ici c’est une Samsung Gear Live qui est utilisée), pourrait permettre d’espionner une personne, et de savoir ce qu’elle a saisi à l’aide de son clavier ?
Et bien oui, on peut déterminer beaucoup de choses avec ces seules données, et une méthodologie précise, qui combine l’analyse des déplacements du poignets, dans les trois dimensions, à partir du point de référence – quand les mains sont posées avant de commencer à taper – et en confrontant ces données avec un dictionnaire pour établir des probabilités. On obtient le MoLe Motion Leaks through Smartwatch Sensors, et le MoLe est capable de véritables prodiges.
Le résultat est assez surprenant : on peut, sans coup férir, déterminer une liste de 24 mots qui comportera le mot saisi. Si la saisie est un peu plus longe – plus de 6 lettres – la longueur de la liste tombe à 10 mots. On peut évidemment affiner encore ce modèle, en déterminant différentes typologies de manière de taper au clavier, et en étudiant de manière plus spécifique chacun des expérimentateurs.
Les chercheurs estiment qu’on peut réduire la quantité d’information potentiellement exploitable, en limitant le nombre de mesures effectuées par les accéléromètres, et les gyroscopes. Mais, d’autres pistes peuvent encore être exploitées pour améliorer encore la reconnaissance, notamment, l’étude de la variation du champ magnétique lors de la saisie. «Sans ça, les appareils électroniques à porter sur soi pourront vite devenir une épée à double tranchant», préviennent-ils.
–MoLe
