Как ИИ видит целый город: за кулисами масштабных ИИ-решений.

Когда мы думаем об искусственном интеллекте, легко представить, что он решает все проблемы по щелчку пальцев. В реальности между идеей и реально работающей системой лежит долгий путь: декомпозиция проблемы, понимание ограничений клиента, выбор архитектуры и решение тысячи мелких задач, о которых никто заранее не думал. Этот гид представляет собой письменный итог 31-й встречи клуба AI Master с Галит Левин, старшим директором в Deloitte и участницей альянса Deloitte и NVIDIA. Галит обладает примерно 15-летним опытом в сфере глубокого обучения, за ее плечами около десяти лет работы в Intel и около семи лет в Mobileye, где она занималась разработкой беспилотных автомобилей и получила патенты в области ИИ-видения. На встрече она приоткрыла завесу тайны над тем, как выглядят ИИ-проекты в масштабе целых городов и гигантских корпораций.

Команда, которой руководит Галит в Deloitte, работает в двух направлениях: компьютерное зрение (анализ изображений и видео) и агентские системы (ИИ-агенты, подключенные к корпоративным данным). Разделение это во многом концептуальное, поскольку на практике агентским системам тоже необходимо понимать визуальные данные, такие как графики и документы.

Умные города: тысячи камер, один мозг

Что система распознает на практике

• Чистота и обслуживание · обнаружение скопления мусора, препятствий на тротуаре или дороге (даже упавшей ветки дерева) и отправка уведомления для немедленного устранения
• Скопления людей · выявление плотности толпы, которая может привести к насилию, карманным кражам или перегрузке транспорта
• Граффити и вандализм · распознавание в реальном времени, при этом в городах Европы штраф за граффити достигает от 3 000 до 5 000 долларов
• Управление движением · умное управление светофорами на основе реальной загруженности вместо заранее установленного таймера

Интересный вывод с мест: туризм — это далеко не всегда благо для города. Крупные европейские города обратились в Deloitte именно потому, что туризм приносит с собой карманные кражи, массовые скопления людей, горы мусора и граффити. Умный город — это в первую очередь ответ на эти проблемы.

Облако или Edge: решение, которое определяет весь проект

Конфиденциальность — это не примечание в самом конце, это условие для входа. Данные с городских камер представляют собой конфиденциальную информацию: муниципалитеты не делятся ею ни с кем, даже с самой Deloitte. Команда отправляет сотрудников работать физически в офис клиента, чтобы устанавливать и тестировать все на месте. Любая обработка данных требует обязательного размытия лиц, а модели проверяются на соответствие стандартам и законам, которым подчиняется муниципалитет.

Когда клиент просит одно, а нужно другое

Проблемы, с которыми сталкиваются только в продакшене

• Освещение и погода · темные улицы ночью, дождь и снег, скрывающие изображение
• Зимняя одежда · люди в шапках и пальто, когда большая часть лица и тела скрыта
• Отражения в витринах · система может посчитать одного и того же человека дважды: один раз реально, второй раз в отражении
• Перекрытия (Occlusions) · младенец в коляске, у которого виден только кусочек лица, человек за деревом, рука или лоб, выглядывающие из плотной толпы
• Различия между городами · европейский город выглядит иначе, чем израильский, а местная культура влияет на то, как выглядят данные

Как заставить клиента доверять системе? Нельзя ожидать, что он будет вручную пересчитывать тысячи людей глазами, чтобы убедиться в правильности цифры. Решение: система отмечает красной точкой каждого распознанного человека, так что можно четко увидеть, кого именно она посчитала, включая сложные случаи вроде укрытого в коляске ребенка. Прозрачность — это то, что строит доверие.

От уведомлений к прогнозам: собираемые данные стоят денег

Zora: ИИ-агенты, работающие в крупнейших компаниях мира

Эти системы уже находятся в продакшене у глобальных клиентов с тысячами ежедневных входов. Компания HP, один из крупнейших клиентов, заявила, что 40% ручной работы, которую финансовые команды выполняли раньше, теперь за считанные секунды делает агентская система.

Четыре уровня ценности: от вопросов-ответов до рекомендаций

• Уровень 1 · Вопросы и ответы: «Каковы были мои доходы за этот месяц?» — и агент извлекает данные изо всей корпоративной базы
• Уровень 2 · Анализ и первопричина: не только сколько, но и почему. В каком регионе произошло падение, какой рынок преподнес сюрприз, как повлияла валюта
• Уровень 3 · Прогноз: прогноз доходов на основе данных, рыночной ситуации и анализа конкурентов
• Уровень 4 · Рекомендации к действию: какой продукт продолжать продавать не стоит, на чем лучше сфокусироваться в следующем квартале

Клуб AI Master открывает для вас дверь: живая встреча каждую неделю, записи и сообщество. 47 шекелей в месяц, отмена в любой момент.

Доброе утро, вот что важно для вас сегодня

Как доверять агенту, который имеет дело с деньгами

Три принципа доверия

• Полная прозрачность · любой ответ системы можно разложить по полочкам: из каких источников он был взят, из какого PDF и даже с каких страниц, таблиц, колонок и строк, а также какова была логика агента по пути
• Права только на чтение · агенты работают в режиме Read, а не Write: они анализируют, прогнозируют и рекомендуют, но не выполняют никаких действий и не изменяют данные без одобрения человека
• Внешний контроль и стандарты · продукт проходит проверки и тесты внешней стороны в рамках процессов Certified to Sell и Certified to Distribute перед тем, как выпускаться для клиентов

Возможность позволить агентам выполнять действия самостоятельно (Write) находится на повестке дня, но подход здесь осторожный: точно определить, какие права есть у каждого агента, что он видит и что имеет право изменять, а затем внедрять это постепенно. Это важный урок для каждого, кто создает агентов для своего бизнеса.

Следующая остановка: Physical AI

Часто задаваемые вопросы об AI Vision и масштабных ИИ-решениях

AI Vision (или Computer Vision, компьютерное зрение) — это область искусственного интеллекта, которая анализирует изображения и видео: распознавание людей и объектов, измерение плотности, обнаружение дефектов и неполадок. Это устоявшаяся дисциплина, возникшая задолго до эпохи генеративного ИИ, которая сегодня объединяется с языковыми моделями и агентами для создания комплексных решений.

CityShield — это система умного города, разработанная в Deloitte. Она подключается к тысячам существующих камер по всему городу в реальном времени и к архивным записям, оценивает каждую сцену по заданным муниципалитетом критериям (чистота, скопления людей, граффити и т. д.) и выдает предупреждения. Вместо двух-трех людей, пытающихся смотреть в тысячи экранов, система следит за всем и выводит на передний план только то, что требует вмешательства.

Это не всегда возможно и не всегда целесообразно. Город без полноценной интернет-инфраструктуры не может подключить камеры к облаку, и тогда вычисления производятся на маленьком чипе прямо внутри самой камеры (например, NVIDIA Jetson стоимостью в несколько сотен долларов) с помощью небольших моделей, обученных под конкретную задачу. Даже при наличии облака решающую роль играют вопросы стоимости и задержки (Latency). Архитектура диктуется реальностью клиента, а не технологиями.

Данные с городских камер — это конфиденциальная информация, которая не покидает пределы муниципалитета, даже команда разработки не имеет к ней доступа извне. Работа выполняется физически на территории клиента, все данные обязательно проходят процедуру размытия лиц, а модели проверяются на соответствие стандартам и законам, обязательным для муниципалитета.

ИИ-агент — это умная модель, у которой также есть руки: доступ к инструментам и системам, позволяющим ей совершать действия, а не только отвечать. Словно осьминог, у которого каждый щупалец — это отдельный навык: калькулятор, файлы, корпоративные системы. Разница между общим агентом и корпоративным заключается в знаниях: у ChatGPT есть интернет, а у корпоративного агента есть еще и внутренние знания, накопленные компанией, и в этом заключается их истинная ценность.

С помощью трех механизмов: прозрачности (каждый ответ разбивается на источники, вплоть до номера страницы в PDF и столбца в таблице), прав только на чтение (агент анализирует и рекомендует, но не выполняет никаких действий с данными) и внешнего контроля со стандартами Certified to Sell перед выпуском. Эти принципы может перенять любой бизнес, создающий агентов.

Гостья встречи

Главный вывод встречи: искусственный интеллект не решает проблемы по щелчку пальцев. Преуспевает в масштабировании тот, кто умеет декомпозировать проблему вместе с клиентом, выбирать подходящую под реальность (а не под демонстрацию) архитектуру, строить доверие через прозрачность и двигаться слой за слоем. Это справедливо как для муниципалитета с тысячами камер, так и для малого бизнеса, создающего своего первого агента.

Часто задаваемые вопросы

Что такое AI Vision на самом деле?

AI Vision (или Computer Vision, компьютерное зрение) — это область искусственного интеллекта, которая анализирует изображения и видео: распознавание людей и объектов, измерение плотности, обнаружение дефектов и неполадок. Это устоявшаяся дисциплина, возникшая задолго до эпохи генеративного ИИ, которая сегодня объединяется с языковыми моделями и агентами для создания комплексных решений.

Что такое CityShield и как это работает?

CityShield — это система умного города, разработанная в Deloitte. Она подключается к тысячам существующих камер по всему городу в реальном времени и к архивным записям, оценивает каждую сцену по заданным муниципалитетом критериям (чистота, скопления людей, граффити и т. д.) и выдает предупреждения. Вместо двух-трех людей, пытающихся смотреть в тысячи экранов, система следит за всем и выводит на передний план только то, что требует вмешательства.

Почему все не запускается на больших моделях в облаке?

Это не всегда возможно и не всегда целесообразно. Город без полноценной интернет-инфраструктуры не может подключить камеры к облаку, и тогда вычисления производятся на маленьком чипе прямо внутри самой камеры (например, NVIDIA Jetson стоимостью в несколько сотен долларов) с помощью небольших моделей, обученных под конкретную задачу. Даже при наличии облака решающую роль играют вопросы стоимости и задержки (Latency). Архитектура диктуется реальностью клиента, а не технологиями.

Как обстоят дела с конфиденциальностью людей, которых снимают камеры?

Данные с городских камер являются конфиденциальной информацией, которая не покидает пределы муниципалитета, в том числе не передается команде разработчиков. Работа ведется физически у клиента, с обязательным размытием лиц на всех данных и проверкой моделей на соответствие стандартам и законам, которым подчиняется муниципалитет.

В чем разница между ИИ-агентом и обычным чатом, таким как ChatGPT?

ИИ-агент — это умная модель, у которой также есть руки: доступ к инструментам и системам, позволяющим ей совершать действия, а не только отвечать. Подобно осьминогу, у которого каждая щупальца — это навык: калькулятор, файлы, корпоративные системы. Разница между общим агентом и корпоративным заключается в знаниях: у ChatGPT есть интернет, а у корпоративного агента есть также внутренние знания, накопленные компанией, и в этом заключается настоящее отличие.

Как можно доверять ИИ-агенту в финансовых данных?

С помощью трех механизмов: прозрачность (каждый ответ разбивается на источники, вплоть до номера страницы в PDF и столбца в таблице), права только на чтение (агент анализирует и рекомендует, но не выполняет действия с данными) и внешний контроль со стандартами Certified to Sell перед выпуском. Эти принципы может перенять любой бизнес, создающий агентов.