Les messages privés, les fichiers et les photos de personnes ordinaires des internautes sont de plus en plus examinés par des entreprises technologiques, qui vérifient les données par rapport aux bases de données gouvernementales. Bien qu’il ne s’agisse pas d’une nouvelle pratique, le public est informé que cette analyse massive devrait s’étendre à presque toutes les activités en ligne afin que la police puisse enquêter de manière plus productive sur les crimes liés aux images d’abus sexuels sur des enfants, parfois appelés CSAM. Nous ne savons pas grand-chose sur la façon dont le public est observé de cette manière. En effet, ni les entreprises technologiques qui effectuent la numérisation, ni les agences gouvernementales avec lesquelles elles travaillent, ne partagent les détails de son fonctionnement. Mais nous savons que la numérisation est loin d’être parfaite, malgré les affirmations contraires. Il fait des erreurs, et ces erreurs peuvent entraîner de fausses accusations de maltraitance d’enfants. Nous ne savons pas combien de fois de telles fausses accusations se produisent, ou combien de personnes en souffrent. La propagation du CSAM cause de réels dommages, et les entreprises technologiques devraient absolument travailler sur de nouvelles façons de le combattre. Nous avons suggéré quelques bonnes façons de le faire, comme la création de meilleurs outils de création de rapports , des messages d’avertissement respectueux de la vie privée et l’analyse des métadonnées. Un article publié hier dans le New York Times rapporte comment Google a fait deux de ces fausses accusations, et le suivi de la police. Cela met également en évidence le refus de Google de corriger les dommages causés par ses analyses erronées et les processus d’examen humain défaillants de l’entreprise. Ce type de numérisation est de plus en plus omniprésent sur les produits technologiques que nous utilisons tous, et les gouvernements du monde entier veulent étendre encore plus sa portée, pour vérifier même nos conversations cryptées les plus privées. L’article est particulièrement dérangeant, non seulement pour le mal qu’il décrit aux deux utilisateurs faussement accusés par Google, mais aussi comme un avertissement de potentiellement beaucoup plus d’erreurs de ce type à venir. Le système d’IA de Google a échoué, et ses employés ont échoué aussi En février de l’année dernière, les algorithmes de Google ont signalé à tort des photos prises par deux pères dans deux États différents comme étant des images de maltraitance d’enfants. Dans les deux cas, les pères, l’un à San Francisco, l’autre à Houston, avaient de jeunes enfants atteints d’infections génitales et avaient pris des photos de la région à la demande de professionnels de la santé. Les algorithmes de Google et les employés qui les supervisent avaient une opinion différente sur les photos. Sans en informer l’un ou l’autre des parents, Google les a signalés au gouvernement. Cela a conduit les services de police locaux à enquêter sur les parents. L’entreprise a également choisi de mener sa propre enquête. Dans le cas de Mark, le père de San Francisco, les employés de Google ont regardé non seulement la photo qui avait été signalée par leur IA erronée, mais toute sa collection de photos de famille et d’amis. Le département de police de Houston et le département de police de San Francisco ont rapidement disculpé les pères de tout acte répréhensible. Mais Google a refusé d’entendre l’appel de Mark ou de rétablir son compte, même après avoir apporté à la société des documents montrant que le SFPD avait déterminé qu’il n’y avait “aucun crime commis”. Remarquablement, même après que le New York Times a contacté Google et que l’erreur était claire, la société continue de refuser de restaurer l’un des comptes Google de Mark ou de l’aider à récupérer des données. Les fausses accusations de Google causent un réel préjudice Google a le droit de décider quels utilisateurs il souhaite héberger. Mais ce sont les algorithmes incorrects de Google et l’échec du processus d’examen humain de Google qui ont amené la police à enquêter sur des personnes innocentes dans ces cas. C’était aussi le choix de Google de détruire sans avertissement et sans procédure régulière les comptes de messagerie, les vidéos, les photos et, dans un cas, le service téléphonique de ces pères. Les conséquences de l’erreur de l’entreprise ne sont pas anodines. Nous ne savons pas combien d’autres personnes Google a accusées à tort de maltraitance d’enfants, mais c’est probablement beaucoup plus que ces deux-là. Compte tenu de l’étendue du contenu qu’il analyse, il peut s’agir de centaines, voire de milliers. Mark et Cassio, les deux pères signalés à tort par Google, ont été accusés à un jour d’intervalle en février 2021. Cela pourrait être une coïncidence, ou cela pourrait suggérer qu’une ou plusieurs failles dans le système de Google, soit des failles dans le logiciel d’IA, ou des failles dans le processus d’examen humain – étaient particulièrement manifestes à cette époque. Les analyses CSAM défectueuses de Google ont causé de réels dommages dans ces cas, et il n’est pas difficile d’imaginer comment elles pourraient être plus nuisibles dans d’autres cas. Une fois que les employés de Google et les policiers ont passé au peigne fin les dossiers d’un parent accusé, il pourrait y avoir des conséquences qui n’ont rien à voir avec le CSAM. La police pourrait trouver des preuves de consommation de drogue ou d’autres actes répréhensibles et choisir de punir les parents pour ces crimes sans rapport, sans les avoir soupçonnés au départ. Google pourrait choisir d’administrer ses propres sanctions, comme il l’a fait pour Mark et Cassio. Malgré ce qui leur était arrivé, Mark et Cassio, le père de Houston, se sont sentis capables de parler à un journaliste. Mais des systèmes comme celui-ci pourraient signaler les minorités vulnérables, y compris les parents LGBT dans des endroits où la police et les membres de la communauté ne leur sont pas amicaux. Le système de Google pourrait signaler à tort des parents aux autorités de pays autocratiques ou de lieux où la police est corrompue, où les parents accusés à tort ne pourraient pas