25 декабря 2017 г.

Никита Иванов

По данным Gartner, к 2020 году более 20 миллиардов устройств будут подключены к «интернету вещей» (IoT). Согласно исследованию Cisco «Глобальный индекс облачных технологий: прогноз и методология на 2015-2020 годы», общий объем данных, создаваемых IoT-устройствам, к 2020 году достигнет 600 зетабайт в год, по сравнению с 145 зетабайт в год в 2015 году. Для успешной работы IoT-платформам понадобится архитектура данных, которая обеспечит производительность и масштабирование, а также необходимые результаты обработки больших данных в реальном времени. Одной из наиболее перспективных технологий для решения этих проблем является гибридная транзакционная и аналитическая обработка данных (HTAP) на основе in-memory вычислений в оперативной памяти компьютера.

Примеры анализа IoT-данных

Рассмотрим всего несколько сценариев, которые требуют быстрой обработки данных и информации в реальном времени для принятия решений:

  • В отраслях от продуктов питания до логистики компании используют датчики для слежения за производством, оптимизации производственных процессов и мониторинга запасов;
  • Беспилотные транспортные средства, используемые в логистике, будут производить и потреблять огромное количество данных для выбора оптимальных маршрутов и минимизации расхода топлива;
  • В пассажирских перевозках сервисы для совместных поездок и водители такси используют приложения для передачи анонимизированной информации о путешествии, внося вклад во внедрение умного контроля над ситуацией на дорогах;
  • Организации здравоохранения внедряют системы наблюдения за пациентами в стационаре на дому, а также мониторинг окружающей среды;
  • Домашняя умная электроника — защитные устройства, термостаты, холодильники, роботы и садовые датчики.

В большинстве случаев анализ IoT-данных должен происходить в реальном или почти реальном времени для своевременных действий. Если аналитика не обрабатывается вовремя — например, чтобы предотвратить экстренную ситуацию с пациентом или порчу продуктов — тогда преимущества IoT сводятся к минимуму.

Гибридная транзакционная/аналитическая обработка в памяти для IoT

Инфраструктура, обеспечивающая скорость и масштаб, необходимые для IoT, может быть построена на гибридных транзакционных и аналитических решениях (HTAP), которые используют единое хранилище данных для транзакций и аналитики. До недавних пор использование HTAP в памяти было дорогостоящим. Пользователям также приходилось беспокоиться о том, как медленная обработка поисковых запросов повлияет на возможность обрабатывать транзакции в реальном времени. Однако сегодня, благодаря снижению стоимости памяти, решения HTAP в памяти становятся более доступными. Кроме того, аналитическая обработка, часто основанная на потоковой технологии, сняла много вопросов о влиянии аналитики на операции. Упрощенная архитектура решений HTAP также обеспечивает значительную экономию средств по сравнению с двумя параллельными решениями: одно для OLTP и одно для OLAP.

Существует три современных подхода к разработке IoT-платформ: собственная разработка, облачные решения и открытый исходный код.

Собственная разработка

Эти решения могут быть разработаны под задачу и хорошо работать в определенном сценарии. Их минус — высокие затраты и привязка к поставщику. Примеры — GE Predix, Bosch IoT Suite или PTC ThingWorx.

Облачные решения

Эти решения могут быть более экономически эффективными и простыми с точки зрения внедрения для некоторых IoT-приложений. Тем не менее, их отличают жесткие интерфейсы интеграции приложений и устройств и невозможность обеспечить аналитику в реальном времени. Поэтому они часто используются для IoT-приложений, менее требовательных к срокам. Примеры — AWS IoT и Azure IoT Suite.

Открытый исходный код

Эти решения более гибкие, поскольку исходный код может быть кастомизирован. Они также могут быть экономически эффективными и не приводят к привязке к поставщику. Некоторые из них предлагают in-memory функции, необходимые для приложений IoT в реальном времени. Примеры — стек SMACK (Apache® Kafka ™, Mesos ™, Akka ™, Cassandra ™ и Spark ™) и Apache® Ignite ™.

In-Memory платформы для IoT

Основные элементы, необходимые для in-memory решения HTAP для IoT-приложений:

  • Data Grid в памяти для распределенного хранения и масштабирования данных;
  • Computer Grid для высокопроизводительной параллельной обработки запросов;
  • Потоковая обработка в памяти, позволяющая анализировать входящие данные в режиме реального времени;
  • SQL Grid в памяти, которая обеспечивает возможности in-memory базы данных, включая поддержку SQL-связи через ODBC/JDBC, и способна обеспечить геопространственную поддержку для IoT-сценариев с использованием геолокации.

Эти взаимосвязанные модули могут сложиться в единую, легко управляемую прослойку, работающую в памяти для такого уровня скорости и масштабируемости, который необходим для обработки потока данных с IoT-устройств. Реализуя эти модули IoT-архитектуры на масштабируемой и высокопроизводительной вычислительной платформе в памяти, IoT-приложения могут управлять быстрой обработкой данных, требуемой для IoT-решений следующего поколения.

Источник: Никита Иванов, технический директор и основатель GridGain