Raspberry Pi AI Camera : gadget ou vraie révolution ?

Je viens à peine de comprendre à quoi sert vraiment le Raspberry Pi AI Kit que la Fondation Raspberry Pi sort un nouvel accessoire IA ! Ils ajoutent juste « IA » dans tous leurs produits pour faire joli ? Ou ça apporte vraiment quelque chose de plus ? J’ai creusé un peu la question, et je vous raconte ce que j’ai découvert !

La Caméra IA est un capteur visuel haute résolution avec une unité de traitement neuronal (NPU). Ce matériel est parfait pour la vision par IA (détection d’objets, estimation de pose, segmentation sémantique…) et permet de traiter des images/vidéos directement sur l’appareil.

Lisez la suite pour découvrir ce qui rend la Caméra IA pour Raspberry Pi unique par rapport au Kit et aux autres modules officiels. Je vais également vous montrer une façon rapide de commencer à l’utiliser et vous donner quelques exemples de ce qu’elle peut faire.

Si, comme moi, vous mélangez parfois la syntaxe entre différents langages de programmation, j’ai exactement ce qu’il vous faut. J’ai créé une fiche mémo Python avec toute la syntaxe essentielle au même endroit, pour que vous puissiez l’avoir sous la main et éviter toute confusion. Téléchargez-la gratuitement ici !

Présentation de la Caméra IA pour Raspberry Pi

Au lancement de la caméra AI, je ne comprenais pas sa place dans la gamme de matériel Raspberry Pi. Dans cette section, je vais expliquer pourquoi elle est unique par rapport à d’autres caméras et comment elle se distingue du Raspberry Pi AI Kit.

Qu’est-ce que la Caméra IA pour Raspberry PI ?

La Caméra IA pour Raspberry Pi est un capteur visuel avec une unité de traitement neuronal qui effectue le traitement de la vision par IA.

Une NPU (unité de traitement neuronal) est une puce conçue pour exceller dans les tâches d’IA. Les fabricants de matériel informatique ont déjà commencé à intégrer des NPU dans les ordinateurs portables et les téléphones, et je prédis que les NPU deviendront standard sur les appareils connectés dans un avenir proche.

La Caméra IA pour Raspberry Pi est dotée des composants clés suivants :

• Caméra de 12,3 mégapixels : l’objectif.
• Sony IMX500 Intelligent Vision Sensor : le cerveau avec la NPU.
• Microcontrôleur intégré RP2040 : la partie qui gère les opérations du firmware.

La caméra IA pour Raspberry Pi a les spécifications physiques suivantes :

• Taille du capteur de 7,857 mm
• Taille de pixel de 1,55 μm × 1,55 μm
• Champ de vision de 78 degrés avec mise au point réglable
• Rapport focal F1.79
• 2 x 2 binned : 2028 x 1520 10 bits @ 30fps
• Résolution complète : 4056 x 3040 10 bits @ 10fps

Maintenant que vous connaissez ses spécifications matérielles, découvrons ce qui rend la caméra IA si unique.

Différences entre la caméra IA pour Raspberry Pi et d’autres caméras

La caméra IA pour Raspberry Pi est spécialisée pour être meilleure et plus rapide dans les projets de vision par IA que les autres modules de caméra officiels.

Par rapport à d’autres caméras, nous pouvons voir que la caméra IA est conçue pour un objectif spécifique :

Caméra IA pour Raspberry Pi	Module de Caméra 3 pour Raspberry Pi	Caméra HQ pour Raspberry Pi	Caméra à obturateur global pour Raspberry Pi
vision par ordinateur IA	photo et vidéo générales	objectifs externes amovibles	photographie de mouvements rapides
12 mégapixels	12 mégapixels	12 mégapixels	1,6 mégapixels
70 € (vérifier le prix)	25 € (vérifier le prix)	50 € (vérifier le prix)	50 € (vérifier le prix)

Pour des comparaisons plus détaillées, consultez notre guide sur les caméras officielles pour Raspberry Pi.

Par exemple, disons que vous avez pris 5 000 photographies dans un skate park pendant un mois. Comment pouvez-vous trier rapidement ces photos pour catégoriser quels tricks de skateboard ont été réalisés et par qui ?

Si vous avez utilisé un appareil photo classique avec un Raspberry Pi, vous pourriez traiter ces images avec quelques algorithmes OpenCV. Mais si vous aviez utilisé une Caméra IA pour Raspberry Pi, selon certaines estimations, cette tâche serait effectuée 3 voire 5 fois plus vite.

Différences entre la Caméra IA pour Raspberry Pi le AI Kit

Alors, la Caméra IA pour Raspberry Pi et le AI Kit sont-ils des versions différentes de la même chose ? Non.
La Caméra IA pour Raspberry Pi est un module autonome qui sert un objectif distinct du Raspberry Pi AI Kit.

Vous vous souvenez peut-être que nous vous avons présenté le Raspberry Pi AI Kit lors de sa sortie. Il ajoute des capacités d’intelligence artificielle au Raspberry Pi 5 grâce à une puce IA sous forme de HAT.

Caméra IA pour Raspberry Pi	Raspberry Pi AI Kit
Projets de vision par IA	Projets IA généraux
NPU sur la caméra	NPU sur le processeur
pour toutes les cartes Raspberry Pi	pour Pi 5 uniquement
70 € (voir prix)	70 € (voir prix)

En résumé :

• Le Raspberry Pi AI Kit n’inclut PAS de caméra et nécessite un Raspberry Pi 5.
• La Caméra IA pour Raspberry Pi inclut une caméra et fonctionne avec TOUTES les cartes Pi.

Bien sûr, le kit AI est plus puissant et peut gérer des projets IA plus complexes.
Mais pour les projets de vision par ordinateur, la Caméra IA est dédiée à cette tâche et plus facile à utiliser.
Et la Caméra IA est plus flexible, car elle peut fonctionner de manière autonome avec n’importe quel Raspberry Pi.

Étant donné que la Caméra IA effectue le gros du travail sur l’appareil, elle libère le processeur et le GPU du Raspberry Pi pour d’autres tâches, comme exécuter des serveurs réseaux, contrôler des robots, ou effectuer le traitement de données massives (en anglais).

Que fait l’IA dans la Caméra IA pour Raspberry Pi ?

Alors, quand nous disons « traitement IA sur l’appareil », que fait la partie IA ?

La Caméra IA pour Raspberry Pi a des capacités clés : détection d’objets, estimation de pose, et segmentation sémantique.

Détection d’objets

La détection d’objets est la capacité à reconnaître des entités distinctes et à les étiqueter automatiquement.

Par exemple, vous pourriez orienter la caméra IA vers la fenêtre et la faire identifier les espèces d’oiseaux et d’insectes qui passent. (Ou peut-être apercevoir accidentellement un OVNI.

Estimation de la posture

L’estimation de la posture est la capacité à déterminer l’orientation du corps d’une personne.

Par exemple, vous pourriez demander à la caméra AI de repérer les personnes dans une foule qui font signe de la main. Ou vous pourriez capturer des mouvements libres pour chorégraphier votre version de Just Dance.

Segmentation sémantique

La segmentation sémantique identifie et suit chaque pixel d’une image/vidéo selon la catégorie à laquelle il appartient.

Cette capacité pourrait être la tâche la plus gourmande en ressources (et l’une des plus cool) pour la caméra IA. Par exemple, vous pourriez l’utiliser pour créer une superposition en réalité augmentée (RA). Ou, faire une vidéo de vous-même agitant un bâton mais le remplacer par un sabre laser lumineux.

La caméra IA pour Raspberry Pi peut effectuer plus de tâches que celles que j’ai montrées, mais j’espère vous avoir fait réaliser à quel point elle est plus puissante qu’une caméra classique couplée à un CPU.

Commencer avec la Caméra IA pour Raspberry Pi

À présent, je vais vous expliquer comment débuter une fois que vous avez une caméra IA pour Raspberry Pi. Cette section n’est pas censée être très technique, mais plutôt un guide rapide.

Quels tableaux Raspberry Pi ?

La caméra AI est vendue séparément, vous devez donc fournir votre propre carte Raspberry Pi.
Toutes les cartes Raspberry Pi sont compatibles avec la Caméra IA pour Raspberry Pi.

Pour des projets plus lourds, je recommande le Raspberry Pi 5 et le Pi 4, qui ont des versions avec plus de RAM que les autres cartes. Si vous êtes en train de créer un prototype de solution commerciale pour une entreprise, vous pourriez envisager le Raspberry Pi Compute Module pour personnaliser les spécifications dont vous avez besoin.

Configuration de la Caméra IA pour Raspberry Pi

Voici comment tout connecter :

• Connectez le câble ruban de la caméra IA au connecteur de caméra du Raspberry Pi.
• Montez la caméra, si vous le souhaitez. Vous pourriez avoir besoin de matériel supplémentaire.
• Allumez le Raspberry Pi.
• Installez le firmware pour la caméra IA :
  sudo apt update
sudo apt full-upgrade
• Installez le paquet de prise en charge officiel pour la caméra IA :
  sudo apt install imx500-all
• Redémarrez :
  sudo reboot

Vous devriez maintenant pouvoir tester les démos intégrées pour la détection d’objets et l’estimation de posture.

Si les commandes Linux ce n’est pas trop votre truc, n’hésitez pas à jeter un œil à cet article qui vous explique les commandes qu’il faut absolument connaître. Je vous donne aussi une antisèche à télécharger pour les avoir toujours sous la main !

Installer les bibliothèques logicielles

Le logiciel dont vous aurez besoin pour votre caméra IA pour Raspberry Pi dépendra en fin de compte des objectifs de votre projet. Ci-dessous, quelques bibliothèques que vous pourriez trouver utiles à installer.

La bibliothèque par défaut Picamera2 vous permet de prendre des photos et d’enregistrer des vidéos.
Lisez notre guide pour une utilisation basique de Picamera2 avec Python sur Raspberry Pi (en anglais).

La bibliothèque populaire OpenCV peut effectuer une détection d’objets en temps réel (et traitement d’image).
Consultez notre guide pour installer OpenCV sur Raspberry Pi.

La bibliothèque Python TensorFlow est idéale pour entraîner des modèles d’apprentissage automatique.
Nous avons également un guide pour débutants sur TensorFlow sur Raspberry Pi (en anglais).

Pour plus d’exemples, consultez la documentation officielle de la caméra IA pour Raspberry Pi.

Projets d’exemple pour la caméra IA pour Raspberry Pi

Besoin d’un peu d’inspiration ? Voici quelques idées de projets (en anglais) pour votre Caméra IA pour Raspberry Pi :

• Suivi de la faune : enregistrez et identifiez les animaux qui passent dans votre journal de la nature.
• Miroir intelligent (en anglais) : essayez différentes tenues virtuellement en utilisant la réalité augmentée.
• Robot activé par mouvement : faites agir votre bot en fonction de vos gestes.
• Moniteur de serre : identifiez les plantes malades ou surveillez les conditions du sol.
• Traducteur de langue des signes : convertissez les signes de la main en messages écrits.
• Distributeur de nourriture pour animaux : libérez de la nourriture lorsque votre chat se rend au distributeur à certaines heures.
• Sonnette connectée : déclenchez une automatisation de maison connectée grâce à la reconnaissance faciale.
• Scanneur de plaques d’immatriculation : marquez toutes les voitures qui se garent à proximité pour la sécurité à domicile (en anglais).
• Cabine photo festive : ajoutez des accessoires amusants aux photos de vos amis, en fonction de leurs poses.

Je suis sûr que vous trouverez d’autres idées si vous réfléchissez à ce qu’il est possible de faire avec la détection d’objets automatisée, l’estimation de posture et la segmentation sémantique.

Modèles d’IA à exécuter sur la caméra IA pour Raspberry Pi

Pour des projets d’IA comme ceux mentionnés ci-dessus, vous aurez probablement besoin d’exécuter un modèle d’IA pour effectuer la tâche.

Un point de départ peut être la plateforme Sony AITRIOS. Elle propose des applications telles qu’un outil sans code pour entraîner des modèles et une interface graphique pour tester des modèles. En achetant une Caméra IA pour Raspberry Pi, vous avez accès gratuitement à Sony AITRIOS. Profitez-en.

Il y a aussi ce GitHub officiel pour la caméra IA pour Raspberry Pi qui propose 20 modèles pré-entraînés que vous pouvez utiliser, tous gratuitement. Incroyable.

Le reste dépend de votre imagination ! La caméra IA pour Raspberry Pi est un matériel futuriste à un prix abordable, et j’espère que vous êtes aussi enthousiaste que moi quant à son utilisation.

Ressources supplémentaires pour votre Raspberry Pi

Initiation au Raspberry Pi en vidéo
Si vous débutez et voulez passer rapidement à la vitesse supérieure, j’ai exactement ce qu’il vous faut.
Regardez ma formation vidéo qui vous aidera à démarrer du bon bien, choisir votre matériel, installer les meilleures applications et vous lancer directement dans vos premiers projets avec mon aide.
Regarder les vidéos dès maintenant

Maîtrisez votre Raspberry Pi en 30 jours
Vous avez besoin de plus ? Si vous êtes à la recherche des meilleures astuces pour devenir expert sur Raspberry Pi, ce livre est fait pour vous. Développez vos compétences sous Linux et pratiquez via de nombreux projets en suivant mes guides étape par étape. 10% de remise aujourd’hui !
Télécharger le livre au format PDF ici

Maîtrisez Python sur Raspberry Pi
Pas besoin d’être un génie pour coder quelques lignes pour votre Raspberry Pi.
Je vous apprends juste ce qu’il faut sur Python afin de réaliser n’importe quel projet. La seconde partie du livre est d’ailleurs consacrée à des exemples de projets où je vous guide pas à pas.
Ne perdez pas de temps, apprenez le strict nécessaire et économisez 10% avec ce lien :
Télécharger maintenant

Autres ressources pour profiter de votre Raspberry Pi
J’ai regroupé toutes mes recommandations de logiciels, sites utiles et de matériel sur cette page de ressources. Je vous invite à la consulter régulièrement pour faire les bons choix et rester à jour.
Visiter les pages ressources