Comment l IA voit une ville entiere: dans les coulisses des solutions d IA a grande echelle.

Lorsque nous pensons a l IA, il est facile d imaginer qu elle resout tout d un clic. En realite, entre une idee et un systeme qui fonctionne vraiment, il y a tout un chemin: decomprendre le probleme, saisir les contraintes du client, choisir une architecture et resoudre un millier de petits problemes auxquels personne n avait pense a l avance. Ce guide est le resume ecrit de la session 31 du club AI Master, avec Galit Levin, directrice senior chez Deloitte et membre de l Alliance entre Deloitte et NVIDIA. Galit apporte environ 15 ans d experience en Deep Learning, apres environ dix ans chez Intel et pres de sept ans chez Mobileye dans le development de vehicules autonomes, avec des brevets dans le domaine de la vision par IA. Lors de la session, elle a ouvert les coulisses: a quoi ressemblent les projets d IA a l echelle de villes entieres et de geants de l industrie.

L equipe dirigée par Galit chez Deloitte travaille sur deux axes: les mondes de la Vision (analyse d images et de video) et les mondes agents (agents d IA connectes aux donnees de l entreprise). La separation est principalement conceptuelle, car en pratique, les systemes d agents doivent egalement comprendre des donnees visuelles telles que des graphiques et des documents.

Villes intelligentes: des milliers de caméras, un seul cerveau

Ce que le systeme detecte reellement

• Nettoyage et maintenance · Detection de l accumulation de dechets, d obstacles sur le trottoir ou la route (meme une branche d arbre tombee), et alerte pour une intervention immediate
• Rassemblements · Detection d une densite de foule pouvant mener a des violences, a des vols a la tire ou a une surcharge des transports
• Graffitis et vandalisme · Detection en temps reel, sachant que dans les villes europeennes l amende pour un graffiti atteint 3 000 a 5 000 dollars
• Gestion du trafic · Controle intelligent des feux de signalisation selon la charge reelle plutot que des horaires fixes a l avance

Une observation interessante du terrain: le tourisme n est pas seulement une chose positive pour une ville. De grandes villes europeennes se sont tournees vers Deloitte precisement parce que le tourisme apporte des vols a la tire, des rassemblements, de grandes quantites de dechets et des graffitis. Une ville intelligente est avant tout une reponse a ces problemes.

Cloud ou Edge: la decision qui faconne tout le projet

La confidentialite n est pas une note de bas de page, c est une condition d entree. Les donnees des caméras urbaines sont des informations sensibles: les municipalites ne les partagent pas a l exterieur, pas meme avec Deloitte elle-meme. L equipe envoie des personnes s installer physiquement chez le client, installer et tout tester sur place. Tout travail sur les donnees necessite le floutage des visages, et les modeles sont testes par rapport aux normes et aux lois auxquelles la municipalite est tenue.

Quand le client demande une chose et en a besoin d une autre

Les problemes que l on ne rencontre qu en production

• Eclairage et meteo · Rues sombres la nuit, pluie et neige qui masquent l image
• Vetements d hiver · Personnes couvertes de chapeaux et de manteaux, la majorite du visage et du corps etant masquee
• Reflets dans les vitrines · Le systeme peut compter la meme personne deux fois, une fois reelle et une fois dans le reflet
• Occlusions · Un bebe dans une poussette dont on ne voit qu un morceau de visage, une personne derriere un arbre, une main ou un front qui depasse d une foule dense
• Differences entre les villes · Une ville europeenne est differente d une ville israelienne, et la culture locale modifie l aspect des donnees

Comment amener le client a faire confiance au systeme? On ne peut pas attendre de lui qu il compte des milliers de personnes a l oeil nu pour verifier que le chiffre est correct. La solution: le systeme marque un point rouge sur chaque personne qu il detecte, de sorte que l on peut voir exactement qui il a compte, y compris les cas difficiles comme un bebe couvert dans une poussette. La transparence est ce qui etablit la confiance.

Des alertes aux previsions: les donnees collectees ont de la valeur

Zora: des agents d IA qui travaillent dans les plus grandes entreprises du monde

Ces systemes sont deja en production chez des clients mondiaux, avec des milliers de connexions par jour. HP, l un des plus grands clients, a declare que 40% du travail manuel effectue autrefois par les equipes financieres est desormais realise en quelques secondes par le systeme d agents.

Quatre couches de valeur: de la question-reponse aux recommandations

• Couche 1 · Question et reponse: "Quels ont ete mes revenus ce mois-ci?" et l agent extrait l information de l ensemble des donnees de l entreprise
• Couche 2 · Analyse et cause racine: non seulement combien, mais pourquoi. Quelle region a baisse, quel marche a surpris, comment la monnaie a influence
• Couche 3 · Prevision: Forecast des revenus base sur les donnees, la situation du marche et l analyse des concurrents
• Couche 4 · Recommandations d action: quel produit ne vaut pas la peine de continuer a vendre, ou il convient de se concentrer au prochain trimestre

Le club AI Master vous ouvre la porte: une rencontre en direct chaque semaine, des enregistrements et une communaute. 47 NIS par mois, annulation a tout moment.

Bonjour, voici ce qui compte pour vous aujourd hui

Comment faire confiance a un agent qui touche a l argent

Les trois principes de la confiance

• Transparence totale · Chaque reponse du systeme est decomposable: de quelles sources elle a ete tiree, de quel PDF et meme de quelles pages, de quels tableaux, colonnes et lignes, et quelle etait la logique de l agent en chemin
• Droits en lecture seule · Les agents sont en Read et non en Write: ils analysent, prevoient et recommandent, mais nexecutent pas d actions et ne modifient pas les donnees sans approbation humaine
• Controle externe et normes · Le produit subit des controles et des tests par un tiers externe, dans le cadre des processus Certified to Sell et Certified to Distribute, avant d etre livre aux clients

La capacite de donner aux agents la possibilite d executer eux-memes des actions (Write) est sur la table, mais l approche est prudente: definir avec precision quelles autorisations chaque agent possede, ce qu il voit et ce qu il est autorise a modifier, et le deployer progressivement. C est une lecon importante pour quiconque construit des agents pour son entreprise.

Prochaine etape: l IA physique

Foire aux questions sur la vision par IA et les solutions d IA a grande echelle

L IA Vision (ou Computer Vision, vision par ordinateur) est le domaine de l IA qui analyse les images et les video: identification de personnes et d objets, mesure de la densite, detection de dangers et de defauts. C est un domaine etabli qui precede l ere de la GenAI, et qui s associe aujourd hui a des modeles de langage et a des agents pour offrir des solutions completes.

CityShield est un systeme de ville intelligente developpe chez Deloitte. Il se connecte a des milliers de caméras existantes a travers la ville, en temps reel et sur des enregistrements passes, note chaque scene selon des criteres definis par la municipalite (proprete, rassemblements, graffitis, etc.) et declenche des alertes. Au lieu de deux ou trois personnes essayant de surveiller des milliers d ecrans, le systeme surveille tout et ne fait remonter que ce qui necessite une intervention.

Ce n est pas toujours possible et ce n est pas toujours approprie. Une ville sans infrastructure Internet complete ne peut pas connecter de caméras au cloud, et dans ce cas le calcul s execute sur une petite puce a l interieur de la caméra elle-meme (comme NVIDIA Jetson pour quelques centaines de dollars) avec de petits modeles entraines pour un probleme specifique. Meme lorsqu il y a un cloud, les considerations de cout et de latence l emportent. L architecture decoule de la realite du client, pas de la technologie.

Les donnees des caméras urbaines sont des informations sensibles qui ne quittent pas la municipalite, pas meme pour l equipe de developpement. Le travail est effectue physiquement chez le client, avec un floutage obligatoire des visages sur toutes les donnees, et une verification des modeles par rapport aux normes et aux lois auxquelles la municipalite est tenue.

Un agent d IA est un modele intelligent dote de mains: un acces a des outils et a des systemes qui lui permettent d accomplir des actions, et pas seulement de repondre. Tel une pieuvre dont chaque tentacule est une capacite: calculatrice, fichiers, systemes d entreprise. La difference entre un agent generique et un agent d entreprise reside dans la connaissance: ChatGPT a Internet, un agent d entreprise possede en outre les connaissances internes accumulees par l entreprise, et c est la la veritable differentiation.

Par trois mecanismes: la transparence (chaque reponse est deconstruite en sources, jusqu au niveau de la page dans le PDF et de la colonne dans le tableau), les droits en lecture seule (l agent analyse et recommande mais n execute pas d actions sur les donnees), et le controle externe avec les normes Certified to Sell avant le deploiement. Ce sont des principes que toute entreprise construisant des agents peut adopter.

L invitee de la session

Le mot de la fin de la session: l IA ne resout pas les problemes d un clic. Ceux qui reussissent a grande echelle sont ceux qui savent deconstruire le probleme avec le client, choisir une architecture adaptee a la realite (et non a une demo), batir la confiance par la transparence et progresser couche apres couche. Et cela est vrai tant pour une municipalite dotee de milliers de caméras que pour une petite entreprise qui concoit son tout premier agent.

Foire aux questions

Qu est-ce que l IA Vision en fait?

L IA Vision (ou Computer Vision, vision par ordinateur) est le domaine de l IA qui analyse les images et les video: identification de personnes et d objets, mesure de la densite, detection de dangers et de defauts. C est un domaine etabli qui precede l ere de la GenAI, et qui s associe aujourd hui a des modeles de langage et a des agents pour offrir des solutions completes.

Qu est-ce que CityShield et comment ca marche?

CityShield est un systeme de ville intelligente developpe chez Deloitte. Il se connecte a des milliers de caméras existantes a travers la ville, en temps reel et sur des enregistrements passes, note chaque scene selon des criteres definis par la municipalite (proprete, rassemblements, graffitis, etc.) et declenche des alertes. Au lieu de deux ou trois personnes essayant de surveiller des milliers d ecrans, le systeme surveille tout et ne fait remonter que ce qui necessite une intervention.

Pourquoi ne pas tout executer sur de grands modeles dans le cloud?

Ce n est pas toujours possible et ce n est pas toujours approprie. Une ville sans infrastructure Internet complete ne peut pas connecter de caméras au cloud, et dans ce cas le calcul s execute sur une petite puce a l interieur de la caméra elle-meme (comme NVIDIA Jetson pour quelques centaines de dollars) avec de petits modeles entraines pour un probleme specifique. Meme lorsqu il y a un cloud, les considerations de cout et de latence l emportent. L architecture decoule de la realite du client, pas de la technologie.

Qu en est il de la vie privee des personnes filmees par les cameras ?

Les donnees des cameras urbaines sont des informations sensibles qui ne quittent pas la mairie, pas meme pour l equipe de developpement. Le travail est effectue physiquement chez le client, avec un floutage obligatoire des visages sur toutes les donnees, et une verification des modeles par rapport aux normes et aux lois auxquelles la mairie est soumise.

Quelle est la difference entre un agent IA et un chat classique comme ChatGPT ?

Un agent IA est un modele intelligent dote de bras, c est a dire d un acces a des outils et a des systemes qui lui permettent d agir, et pas seulement de repondre. C est comme une pieuvre dont chaque bras est une capacite : calculatrice, fichiers, systemes d entreprise. La difference entre un agent generique et un agent d entreprise reside dans la connaissance : ChatGPT dispose d Internet, tandis qu un agent d entreprise possede en plus les connaissances internes accumulees par l entreprise, et c est la toute la difference.

Comment peut on faire confiance a un agent IA pour des donnees financieres ?

Grace a trois mecanismes : la transparence (chaque reponse est decomPOSEE en sources, jusqu a la page dans le PDF et la colonne dans le tableau), des autorisations de lecture seule (l agent analyse et recommande mais n execute aucune action sur les donnees), et un controle externe avec les normes Certified to Sell avant le deploiement. Ce sont des principes que toute entreprise qui concoit des agents peut adopter.