Sony a présenté une nouvelle technologie hybride : un capteur d’image avec un système de traitement AI intégré au matériel, ce qui en fait un système intégré unique. Les avantages et les applications sont potentiellement énormes à mesure que les images et le code continuent de fusionner.

L’idée est assez simple dans son concept. Vous prenez un capteur d’image CMOS traditionnel comme vous le trouverez dans n’importe quel téléphone ou appareil photo aujourd’hui et vous l’empilez sur une puce logique conçue non seulement pour extraire les pixels du capteur, mais pour faire fonctionner un modèle d’apprentissage automatique qui extrait les informations de ces pixels .

Pour être clair, les capteurs d’image ont déjà des processeurs compagnons qui effectuent le travail habituel de tri des pixels, de les compresser en JPEG, etc. Mais ils sont très concentrés sur l’exécution d’une poignée de tâches courantes très rapidement.

La puce Sony, comme l’explique l’entreprise, est capable de processus et de sorties plus sophistiqués. Par exemple, si l’exposition concerne un chien dans un champ, la puce pourrait immédiatement l’analyser pour détecter des objets, et au lieu d’envoyer l’image complète, il suffit de signaler “chien”, “herbe” et tout ce qu’elle reconnaît.

L’avantage d’un tel système est qu’il peut éliminer toutes sortes de données inutiles ou indésirables avant que ces données ne soient transférées dans le pipeline de stockage ou de traitement de l’appareil principal. Cela signifie que moins de puissance processeur est utilisée, d’une part, mais elle peut également être plus sûre et plus sécurisée.

Les caméras dans les lieux publics peuvent brouiller de manière préventive les visages ou les plaques d’immatriculation. Les appareils domestiques intelligents peuvent reconnaître des individus sans jamais enregistrer ou envoyer de données d’image. Plusieurs expositions peuvent être fusionnées pour former des cartes de chaleur ou de fréquence du champ de vision de la caméra.