Facebook lit les textes dans vos photos et vidéos

Facebook lit les textes dans vos photos et vidéos

Le réseau social de Zuckerberg a développé un système d’apprentissage automatique baptisé Rosetta, capable d'interpréter en temps réel un message dans une photo ou une vidéo.


En effet, c’est une solution pour filtrer les contenus inappropriés… le géant américain a dû se doter d’un outil automatique pour analyser ces flux. La solution a été trouvée avec Rosetta, un système d’apprentissage automatique.

Les enjeux sont nombreux : améliorer l’expérience utilisateur en proposant un moteur de recherche d’images plus pertinent ou personnalisé, rendre plus accessibles Facebook et Instagram aux malvoyants en leur décrivant les images, et surtout filtrer automatiquement des contenus inappropriés ou qui contreviennent aux règles d’utilisation des deux plateformes.

La particularité de Rosetta est de commencer par détecter des ensembles rectangulaires dans les images qui sont susceptibles de contenir du texte. Elle utilise ensuite un réseau neuronal convolutionnel pour reconnaître et transcrire ce qui est écrit dans chaque rectangle, qu'il s'agisse de mots anglais ou non, d'alphabet latin ou non.

Rosetta est déjà utilisée par de nombreuses équipes de Facebook et Instagram. Mais le groupe est loin de crier victoire, le système ne fonctionnant pas encore de façon optimale avec les vidéos. Or, ces dernières sont en constante augmentation.