Connexion
Frigate 0.16 identifie les visages et plaques d’immatriculation sur les caméras
Frigate, l’enregistreur vidéo en réseau (NVR) open-source, continue de s’améliorer à bon rythme et la version 0.16 proposée en bêta depuis peu est une grosse mise à jour, avec deux nouveautés majeures. Cette app à installer sur son propre serveur (un Raspberry Pi, un Mini PC, un NAS…) était déjà capable de distinguer les différents types de mouvements pour ne conserver que les images de personnes, voitures ou encore de chats parmi toutes celles transmises par des caméras. Désormais, elle peut aussi analyser les visages pour effectuer une reconnaissance faciale et lire les plaques d’immatriculation pour différencier les véhicules.
Ces deux nouvelles fonctionnalités doivent être activées dans les réglages de Frigate ou via son fichier de configuration. L’identification repose à chaque fois sur des modèles spécialisés qui vont agir après l’identification principale. Concrètement, si un véhicule est repéré sur une caméra, le modèle dédié aux plaques va ensuite s’activer pour trouver la plaque et appliquer une reconnaissance optique des caractères (OCR) pour y lire les lettres et chiffres. Vous aurez une liste de plaques identifiées dans la base de données de Frigate et vous pourrez les associer à une voiture, ce qui permet ensuite de faire des recherches en utilisant ce critère plutôt que le numéro de plaque.
Pour la reconnaissance faciale, Frigate doit d’abord repérer une personne, puis identifier son visage. Le fonctionnement est alors similaire à celui de Photos d’Apple, notamment : une section affiche tous les visages identifiés et ils seront tous inconnus au départ, avant que vous les associiez à des personnes. Cette base de connaissance va permettre à l’app de reconnaître correctement les personnes sur les images, avec une rapidité et une efficacité qui m’ont surprises. J’ai activé la reconnaissance faciale dimanche et après avoir entraîné le modèle pour les deux personnes de mon foyer à partir des images collectées dans la matinée du lundi, l’identification était déjà excellente en fin de journée.
J’utilise le petit modèle, le seul qui tourne correctement sur mon matériel, mais Frigate propose aussi un modèle plus sophistiqué pour ceux qui ont une carte graphique puissante sous la main. Précision importante, l’identification des visages et plaques d’immatriculation ne tourne pas sur le TPU Coral conçu par Google et que j’utilise pour l’identification des mouvements. Si les nouveaux modèles tournent toujours en local, ils tourneront au pire grâce au CPU, au mieux sur le GPU. Mon Mini PC qui héberge Frigate est équipé d’un processeur Intel N100 assez modeste (4 cœurs de 12e génération jusqu’à 3,4 GHz) et je n’ai pas noté de baisse notable des performances en activant les nouveautés.
En plus de la possibilité de filtrer les images stockées dans l’historique, l’intérêt d’un tel travail d’identification des personnes et véhicules est évidemment à chercher du côté de l’automatisation. L’intégration à Home Assistant fournie par Frigate tient compte de la nouveauté et ajoute deux entités aux caméras pour remonter la dernière personne identifiée et la dernière plaque d’immatriculation repérée. On peut ainsi envisager des automatisations basées sur ce critère, par exemple pour ouvrir automatiquement une porte de garage si la bonne plaque est lue. Après un premier essai, Frigate semble identifier ma voiture très tôt, ce qui est encourageant pour une bonne expérience, mais je vais prendre le temps de valider l’idée sur la durée avant de créer des automatisations.
Dans la longue liste de changements avec la version 0.16, on repère aussi la traduction, déjà disponible en français, alors que Frigate était jusque-là uniquement proposée en anglais. Il y a d’autres fonctionnalités encore, comme une identification des oiseaux pour les ornithologues en herbe ou encore l’estimation de la vitesse des objets qui passent à travers une zone. Plusieurs changements peuvent nécessiter de toucher à sa configuration, comme le détaillent les notes de version, alors mieux vaut faire une sauvegarde complète en amont.
Frigate est un programme open-source et gratuit, à installer sur votre propre matériel en suivant la documentation (en anglais). On peut l’associer à Frigate+, un service sur abonnement (50 $ HT par an, soit environ 53 €) qui permet surtout d’accéder à des modèles plus précis pour analyser les images et, par exemple, distinguer les logos sur les camionnettes des livreurs ou les colis identifiés par les caméras. Frigate+ permet aussi d’améliorer les modèles spécifiquement selon ses besoins, en envoyant des corrections lors de mauvaises identifications. Cela dit, j’utilise l’app gratuitement depuis plus d’un an et en comparaison des NVR commerciaux, on obtient beaucoup de fonctionnalités sans payer.
