23 сентября 2020 г.
В этой статье мы расскажем, как новейшие технологии машинного зрения могут помочь в решении повседневных бизнес-задач. А также о том, почему решений на рынке много, но не все они хорошо работают — и довериться можно лишь нескольким. Кроме того, поделимся собственным опытом реализации подобных проектов на производстве и в бизнесе.
Для начала рассмотрим, что такое современные системы машинного зрения и какие задачи они решают.
Задачи: Поиск объекта, Классификация, Трекинг.
Компоненты систем машинного зрения:
- Безусловно, камера (редко одна, чаще несколько десятков, возможно сотни).
- ПО работы и управления видеопотоком (VMS или Video Management System).
- Обученная нейронная сеть (одна, а чаще несколько, работающих на решение одной задачи).
- Серверное оборудование с GPU, где обученные нейросети работают с видеопотоком.
- ПО аналитики или «ПО верхнего уровня», куда отправляются результаты от всех перечисленных подсистем, а также прописывается нужная математика и логика исходя из задачи.
Стоит отметить, что среда подготовки и обучения нейросетей не входит в список компонентов машинного зрения, т. к. эта часть выносится за рамки работы готовой системы. Но именно ее функционал и возможности играют ключевую роль в качестве обученной нейросети, ее последующего администрирования и изменения под изменяющиеся бизнес-задачи или требования. В список компонентов также не вошли вторичные системы — как программные, так и аппаратные, подключаемые к системам машинного зрения и работающие с командами, полученными от ПО аналитики.
Приведем несколько примеров прежде, чем продолжить.
1. Контроль использования СИЗ на производстве
Первым объектом поиска нейросети является человек. Следующим — объекты слежения: руки, голова, глаза. Затем на объектах слежения нейросеть обучена распознавать наличие или отсутствие тех или иных СИЗ.
Другими словами: если в поле зрения системы попадает просто защитная каска или перчатка — система никак не реагирует на это событие, поскольку оно не представляет для нее никакого интереса. Интерес представляет именно искомый СИЗ применительно к тому или иному объекту слежения. Т. е. каска на голове — это условный «+», а вот каска в руке или под мышкой — уже условный «-». Для наглядности и лучшего визуального восприятия на этапе обсуждения задания с заказчиком и пилотирования мы выделяем цветом объекты слежения. Когда же система запущена в эксплуатацию, никаких кружочков и квадратиков от нее не требуется. Нужны лишь те самые условные «+» и «-», которые мы передаем по API следующим подключаемым компонентам (вторичным системам).
«Каким компонентам?» — спросите вы.
В случае с промышленной безопасностью важнейшими являются сохранность здоровья персонала и предупреждение несчастных случаев на производстве. Поэтому условные «плюсы» и «минусы» можно свести в графики и таблицы, показав руководству, кто и когда пренебрегает защитой. Но более правильным будет подключение системы оповещения внутренней службы безопасности посредством отправки сигнала на мобильное устройство (смс, e-mail, PUSH) или на пульт оператора с отправкой ключевого кадра, на что среагировала система, и необходимой информацией о времени и месте срабатывания. При этом надо понимать, что работа нейросети происходит в режиме online и 24×7, на отправку уведомления требуются доли секунд. Безусловно, можно отправлять управляющие сигналы на внешние системы оповещения (громкоговорители) — куда угодно, где есть программный интерфейс управления (API).
2. Контроль объектов слежения с использованием БПЛА
В этом примере покажем, что системы машинного зрения не привязаны к стационарным камерам. Это, в том числе, могут быть и камеры беспилотных летательных аппаратов (БПЛА) — как нативные, так и оснащенные тепловизорами, системами ночного зрения и т. д.
Сфера применения огромна! С учетом развития БПЛА, увеличения времени их автономности и качества передаваемого сигнала использовать машинное зрение на БПЛА можно и для облета периметра закрытых территорий с целью его контроля, и для инспекции всевозможных узлов и агрегатов, и для слежения за определенным объектом, и во многих других случаях.
Пример: облет линий высоковольтных ЛЭП с целью поиска провисания линии, пробоя изолятора, упавшего дерева и т. п. Результат работы системы: ключевой кадр, на что сработала система, + GPS-координаты места события для отправки ремонтной бригады на планшет оператору или в ситуационный центр.
Важно понимать, что системы машинного зрения на текущем этапе развития не призваны заменить человека. Относиться к ним надо как к дополнительным, вспомогательным для управленческого персонала системам, помогающим минимизировать ошибки и издержки компании, но принятие решения в любом случае остается за человеком.
3. Превентивная работа с целью повышения культуры вождения
Дано: огромный парк корпоративных автомобилей, оснащённых стандартными видеорегистраторами.
Задача: поиск потенциально агрессивных водителей для проведения разъяснительных бесед и снижения возможности ДТП с их участием.
Решение. Данные с регистраторов агрегируются в дата-центре и обрабатываются нейросетями на предмет поиска нарушений:
- пересечение сплошной линии;
- пересечение двойной сплошной линии и выезд на встречную полосу;
- водитель не уступил пешеходу на пешеходном перекрестке;
- опасное сближение с впереди идущим транспортном (экстренное торможение);
- поворот/разворот в неположенном месте;
- проезд на запрещающий сигнал светофора;
- превышение скоростного режима;
- съезд с разрешенного участка для движения (съезд с асфальта на обочину).
Результат работы нейросети: таблица с метаданными по каждому водителю — на что, где и когда сработала система, с возможностью просмотреть фрагмент по каждому событию для принятия управленческого решения.
Этим примером мы хотим показать, что не всегда нейросети используют для обработки видеопотоков online. Для нейросетей есть множество задач с уже накопленным материалом, где нужно разобрать архивы с целью поиска того или иного события/объекта.
Кроме того, этот пример демонстрирует, что кроме логики работы есть еще возможность использовать математические методы анализа получаемых данных. Например: мы видим знак ограничения скоростного режима; видим текущую скорость авто из данных видеорегистратора; видим, что знак проезжаем — т. е. начинается зона его действия, и в этот момент начинаем следить именно за превышением скорости авто относительно знака ограничения скорости. Если превышение более 10 км/ч — делаем запись в таблицу, если меньше — не делаем и т. д.
4. Социальное дистанцирование
Законы времени, в котором мы живем, порой слишком быстро диктуют новые правила, к которым нужно так же быстро адаптироваться. И от того, насколько быстро эта адаптация произойдет, зависят выживание бизнеса в сложный период и даже жизни сотрудников.
Ниже предлагаем посмотреть, как можно решать задачи социальной дистанции и в первую очередь — наблюдение, т. е. контроль над соблюдением необходимой (заданной) дистанции.
Вывод из приведенных примеров напрашивается следующий: системы машинного зрения могут быть применимы везде, где есть камеры либо видеоархивы и где существует необходимость находить объекты, классифицировать и следить (трекинг) за ними. При этом одна система может включать в себя сотни камер, которые будут работать как единый организм над решением одной задачи.
Доступность и бесплатность библиотек для обучения простых нейросетей (TensorFlow, Caffe) и популярность языка программирования Phyton сделали процесс создания первых нейросетей крайне простым для любого желающего, кто углубился в тему чуть дальше обывательского уровня. Это и хорошо, и одновременно плохо. Хорошо тем, что вовлеченных в мир искусственного интеллекта программистов все больше и больше, и не за горами фантастические прорывы в этой области. Но с другой стороны, доступность и простота породили огромное количество стартапов, т. е. тех ребят, кто поверил в свои силы, до конца не осознавая всей глубины и сложности задачи, с которой придется столкнуться.
Не секрет, что крупные западные компании вкладывают десятки и сотни миллионов долларов в свои разработки на базе ИИ. Никто не спорит, что это технологии завтрашнего дня, которые начинают свой путь сегодня и с каждым годом становятся умнее, функциональнее и дешевле.
Для своих решений мы выбрали аппаратную и программную платформу, предлагаемую компанией IBM.
Почему IBM?
- Мировой опыт IBM и десятилетия инноваций от IBM Research & Development в области видеоаналитики. Все продукты IBM для видеоаналитики и машинного зрения — это не покупки, а собственные разработки, вышедшие из крупнейших исследовательских лабораторий, таких, например, как лаборатория IBM в Китае.
- Мировой опыт реализации крупнейших проектов, таких как «Умный город», «Безопасный город», «Безопасный аэропорт», «Безопасный вокзал» и т. д. Экспертиза и опыт команды разработчиков, участвовавших в проектах, доступны и для российских заказчиков.
- Решение может быть развернуто как на существующих у заказчика серверах х86 (соответствующих требованиям), так и на собственных серверах IBM System Power AC922 и IC922 с мощными CPU и GPU, которые специально разработаны для задач, связанных с ML/DL и большими потоками данных, и оптимально сбалансированы под них. Серверы IC922 являются отличным и конкурентным аналогом серверам классической х86 архитектуры.
- Уникальные алгоритмы, максимально эффективно нагружающие CPU и GPU и равномерно распределяющие нагрузку между ними, что позволяет обрабатывать бОльшее количество потоков на одном сервере.
- Быстрое доведение точности до требуемого уровня. Первые нейросети по заданию заказчика могут быть готовы уже через несколько часов после начала работы.
- Независимость от конкретного производителя камер или СВН. Мы можем их интегрировать почти в любую существующую среду видеонаблюдения на предприятии с минимальными изменениями.
- Широкий пакет программных продуктов IBM, из которых можно создать решение для любой задачи:
- IBM Maximo Visual Inspection (ранее IBM Visual Insight). В состав продукта входит широкий набор инструментов для обучения нейросетевых моделей и подготовки датасета. В состав решения ходят популярные среды глубокого обучения и необходимые для их работы компоненты
- IBM Visual Inspections Mobile (Visual Inspector) — для применения обученных моделей с использованием мобильных устройств для различных инспекций.
- IBM Video Analytics — основной продукт, который позволяет подключать сотни и тысячи камер любых производителей, осуществлять трекинг объектов, имеет специальный интерфейс администратора, дающий возможность настраивать правила поведения или состояния объектов, которые необходимо отслеживать, генерировать мгновенные оповещения в интерфейс оператора или как сигналы другим системам, а также «индексировать» видеопотоки, описывая все происходящее в виде метаданных, по которым впоследствии оператор может выполнять поиск интересующих объектов или событий.
Если вы дочитали до этих строк, значит, статья была как минимум интересна — и либо вы нашли ответы на какие-то копившиеся вопросы, либо вопросов стало еще больше 😊.
У компании Barnet за последние годы накоплен богатый опыт и экспертиза в подобных решениях, что отмечено нашим вендором и чем мы с вами с готовностью поделимся.
Обращайтесь:
Источник: На правах рекламы
