Технология In-Memory Computing: как применять и зачем?

14 февраля 2018 г.

In-memory computing, или вычисления в оперативной памяти — это технология, позволяющая в режиме реального времени обрабатывать огромные массивы данных. Сегодня, когда почти любому современному бизнесу приходится иметь дело с big data, решения на основе in-memory computing внедряются практически во всех отраслях. Компания Markets and Markets опубликовала исследование, согласно которому рынок in-memory решений будет ежегодно расти на 33%, и уже к 2020 г. превысит $23 млрд.

Финансовый сектор

Банки и другие финансовые организации сегодня сталкиваются с крайне непростыми техническими задачами. Финансовое законодательство требует, чтобы они отслеживали, собирали, анализировали и хранили огромное количество данных с целью предотвращения мошеннических транзакций и отмывания денег. Чтобы поддерживать свою конкурентоспособность, все это необходимо делать максимально быстро — любая задержка может привести к значительным финансовым потерям. По этой причине многие крупные банки (Citibank, Barclays, American Express, Сбербанк) перешли на in-memory решения, обеспечивающие рекордно высокую скорость до 1 млрд. транзакций в секунду.

Применение:

• Высокочастотный трейдинг;
• Нормативно-правовое соответствие (compliance);
• Выявление и предотвращение мошенничества;
• Быстрые транзакции;
• Ставки на спред;
• Алгоритмический трейдинг;
• Оценка рисков;
• Процентные деривативы;
• Финансовая биржа.

Ситуация: Частный международный банк, название которого не раскрывается из соображений конфиденциальности, запланировал замену устаревшей системы обработки данных на более производительную, которая могла бы быстро и стабильно выполнять сложные финансовые вычисления в большом объеме (моделирование рисков, предсказательная аналитика и т. д.). Изучив доступные на рынке решения, руководство банка остановилось на GridGain In-Memory Data Fabric.

Результат: распределенная система была развернута более чем на 600 процессорах, что позволило обрабатывать большие объемы данных и проводить транзакции в течение нескольких миллисекунд. Представитель банка сообщил, что производительность резко увеличилась, и это обеспечило преимущество в трейдинге и инвестициях. Решение работает без сбоев 24 часа в сутки, 6 дней в неделю.

Финтех

Сегодня многие банки отдают значительную часть бэкендовой обработки и анализа данных на аутсорсинг финтех-компаниям, чтобы сфокусироваться на более приоритетных задачах. In-memory computing повышает производительность приложений, разработанных для сферы финансовых технологий.

Применение:

• Аналитические программы для оценки рисков;
• Интеграция фронтенд-систем;
• Решения для управления рисками, казначейств и менеджмента;
• Управление корпоративными данными;
• Автоматизация инвестиций и трейдинга;
• Кредитование между физическими лицами;
• Краудфандинг;
• Страхование.

Ситуация: Финтех-компания Misys предлагает широкий выбор ПО для финансовых услуг, а ее клиентами являются более 2000 компаний из 130 стран (в том числе 48 из 50 ведущих банков мира). Решения от Misys должны обрабатывать огромные массивы трейдинговых и бухгалтерских данных. В связи с запросами клиентов на обработку данных в реальном времени, а также из-за растущих нормативно-правовых требований в Европе Misys решила внедрить новую платформу с поддержкой data lakes вместо традиционных баз данных — GridGain In-Memory Data Fabric.

Результат: внедрение in-memory платформы позволило проводить параллельную обработку огромных массивов данных в реальном времени. Благодаря этому клиенты Misys получают важные инсайты практически без задержки и могут оперативно принимать важные инвестиционные или трейдинговые решения. Кроме того, Misys может создавать финтех-приложения нового поколения.

ИТ-отрасль

В ИТ-отрасли in-memory computing используется компаниями-разработчиками программного обеспечения и провайдерами SaaS-сервисов. Многие программные и облачные решения не справляются с резким увеличением объема данных. Пользователи при этом ожидают бесперебойной производительности в любых условиях и при задержке в несколько секунд просто уходят к конкурентам.

Встраивание in-memory платформы в программный или облачный продукт приводит к впечатляющему росту скорости и упрощает масштабирование. In-memory решениями пользуются такие крупные ИТ-компании, как Microsoft, IBM, Siemens PLM Software и др.

Применение:

• Быстрые транзакции;
• Быстрый поиск по большим товарным каталогам;
• Улучшенный пользовательский опыт;
• Гибридная транзакционно-аналитическая обработка данных (HTAP);
• Аналитика больших данных в реальном времени;
• Бизнес-аналитика и отчетность в реальном времени;
• Быстрое управление и аналитика IoT с возможностью масштабирования.

Ситуация: Intelligentpipe, крупная компания-разработчик аналитического ПО для мобильных операторов, искала способ обеспечить обработку терабайтов потоковых данных в режиме реального времени. Аналитическое решение от Intelligentpipe собирает и обрабатывает огромный объем данных, связанных с активностью десятков миллионов абонентов. Для обработки всех этих данных в режиме реального времени была выбрана платформа GridGain.

Результат: встраивание GridGain в программный продукт обеспечило максимальную скорость вычислений. Это позволило Intelligentpipe выйти на новый уровень аналитики и успешно обрабатывать терабайты потоковых данных в реальном времени. Клиенты компании получают ценные инсайты и принимают своевременные инвестиционные решения.

Логистика и транспорт

Логистические и транспортные приложения также сталкиваются со сложностями, связанными с увеличением потока данных: их в большом количестве генерируют датчики, пользователи и различные системы. Чтобы вовремя обрабатывать растущий объем данных, нужно значительно увеличить производительность. Этого можно добиться, встроив в приложение in-memory платформу.

Применение:

• Событийно-ориентированная архитектура;
• Оптимизация маршрутов;
• Моделирование прогнозов для логистики снабжения;
• Прогнозирование объема посылок;
• Отслеживание состояния посылок.

Ситуация: Международная компания MercuryGate, поставщик глобальных систем управления транспортом, столкнулась с необходимостью повысить производительность своих решений: тарифные таблицы стали очень большими, и система медленно реагировала на запросы. Клиенты настойчиво просили уменьшить время отклика, так как от этого зависела их конкурентоспособность и прибыль.

Сначала MercuryGate разработала собственное решение на основе распределенного кэша, но к 2014 г. его возможности были исчерпаны. В поиске высокопроизводительного решения с возможностью масштабирования MercuryGate обратила внимание на технологию in-memory computing.

Результат: внедрив GridGain, MercuryGate снизила время отклика до приемлемых значений (от минуты до нескольких секунд при первом запросе) и сохранила лояльность клиентов. Кроме того, компания смогла выявить клиентов с большим временем доставки и адресно предлагать им премиальное обслуживание. Таким образом, MercuryGate создала новый продукт и получила дополнительный канал поступления дохода. В будущем компания планирует создать оптимизатор маршрутов и сервисы для балансировки нагрузки.

Retail и e-commerce

Использование in-memory computing в ритейле и электронной коммерции обусловлено стремлением компаний удержать клиентов, обеспечивая им безупречный пользовательский опыт. Если инфраструктура, на которой работают сайты и приложения онлайн-магазинов, не справляется с растущей нагрузкой, это приводит к медленной работе, оттоку клиентов и потере прибыли.

Применение:

• Создание персонализированных предложений в реальном времени;
• Управление пользовательскими сессиями;
• Аналитика в режиме реального времени;
• Максимально быстрый поиск;
• Кэширование товарных каталогов.

Ситуация: Компания Experticity, создавшая сеть для взаимодействия брендов, ритейлеров и экспертов, нуждалась в высокоскоростной системе обработки больших данных. Основными приоритетами Experticity были возможность взаимодействия пользователей с системой в реальном времени и проведение сложного анализа данных по аудитории в несколько тысяч человек.

Результат: внедрение технологии in-memory computing обеспечило Experticity возможности кэширования в оперативной памяти, проведения распределенных вычислений и потоковой обработки данных. Бренды получили доступ к ценным аналитическим инсайтам и возможность точного таргетинга, потребители — улучшенный покупательский опыт, а компания — быстрый рост бизнеса.

IoT (интернет вещей)

Хранение и аналитика IoT-данных — перспективная отрасль для применения in-memory computing. Компания Gartner в своем исследовании прогнозирует, что к 2020 г. по всему миру будет более 20 млрд. подключенных к интернету устройств. Чтобы обработать огромный объем данных, полученных от этих многочисленных устройств, IoT-платформам понадобится архитектура с использованием in-memory computing — традиционные базы данных не смогут обеспечить достаточную производительность, масштабируемость и балансирование нагрузки.

Какие устройства генерируют IoT-данные:

• ИТ-оборудование дата-центров;
• Системы видеонаблюдения;
• Смартфоны и их пользователи;
• Здания и другие постройки;
• Датчики состояния окружающей среды;
• Заводское оборудование;
• Автомобильное и судовое оборудование;
• Розничные операции;
• Медицинские устройства.

Ситуация: Компания занимается созданием крупномасштабных IoT-сетей и решений для критически важной инфраструктуры. В ходе своего развития она столкнулась со следующей проблемой: стоимость лицензии на продукты поставщика ПО стала слишком высокой, а их производительность и возможности масштабирования были недостаточными. По этой причине компания не могла работать с более крупными клиентами (провайдерами и муниципалитетами).

Результат: внедрив GridGain в ядро своей системы «умных счетчиков», компания снизила операционные расходы на 22%. Благодаря новой архитектуре и расширенным возможностям компания стала частью Itron (мирового IoT-лидера), а сумма сделки составила $830 млн.

Фармацевтика

In-memory решения используются фармацевтическими компаниями в исследовательской работе для определения потенциально эффективных веществ при определенных болезнях. Повышение производительности в 1000 раз по сравнению с традиционными методами вычислений позволяет рассмотреть большее число возможных комбинаций.

Применение:

• Вычисления в фармацевтических исследованиях;
• Моделирование и симуляция действия потенциально эффективных лекарств.

Ситуация: Британская фармацевтическая компания e-Therapeutics ведет поиск лекарств от серьезных болезней, используя вычислительный анализ больных клеток. Одна аналитическая операция является довольно простой и не требует много времени, но для успешного поиска нужно произвести сотни тысяч таких операций. Чтобы ускорить работу, в 2012 г. компания приняла решение перейти на параллельные вычисления в распределенной in-memory системе. Сначала новая платформа была запущена на кластере из 20 узлов на одном 20-ядерном сервере, а затем постепенно выросла до 100 узлов на 5 серверах.

Результат: новая вычислительная платформа увеличила скорость вычислений примерно в 80 раз по сравнению с непараллельной средой. Аналитические проекты, который раньше требовали нескольких недель, выполняются за часы или даже за минуты. Кроме того, e-Therapeutic запустила несколько проектов, которые было невозможно реализовать на старой системе. Сотрудники компании могут строить более сложные модели клеток, проверять большее количество гипотез и разрабатывать совершенно новые подходы к лечению болезней.

Прогноз на 2018 г.

Сегодня in-memory системы успешно используются во многих отраслях, и в 2018 г. мы ожидаем ускорения этого тренда. Все больше компаний осознают, что успешность цифровой трансформации и конкурентоспособность напрямую зависят от производительности ИТ-системы. Прогнозы аналитических компаний (таких как Gartner, Market and Market и др.) также предсказывают стремительный рост рынка in-memory решений.

Чем это обусловлено? Во-первых, стоимость оперативной памяти постоянно снижается, и in-memory системы больше не являются привилегией лидеров рынка — они уже достаточно доступны даже для небольших компаний. Во-вторых, их можно разворачивать не только на физических узлах, но и в облаке, что серьезно облегчает внедрение. Единственным препятствием на пути повсеместного распространения in-memory решений является недостаток специалистов, которые умеют работать с такими платформами. Впрочем, если тренд сохранится, то эта проблема также будет решена.

Источник: Никита Иванов, основатель и технический директор компании GridGain