16 июня 2020 г.

Антон Котцов

Мы живем в эпоху гигантских объёмов генерируемых данных, и эти объемы растут экспоненциально. Ценность данных как источника важной для бизнеса информации увеличивается с каждым днем. Возникает закономерный вопрос: где организациям их хранить и обрабатывать? Хотя основной объём традиционно можно записывать в СУБД, новые технологии привели к появлению новых форматов данных. Количество информации с датчиков, видеозаписей и прочей неструктурированной информации растет очень быстрыми темпами. Это значит, что системы хранения и подходы к управлению данными внутри отдельных компаний в ближайшем будущем сильно преобразятся. Руководители и лица, принимающие решения в сфере ИТ, это понимают. Ключевая задача — адаптироваться к изменениям.

Стандартизация управления

Практически каждая развивающаяся компания стремится раскрыть весь потенциал накопленных ею данных. Чтобы это сделать, необходимо улучшить возможности управления. Традиционные инструменты перестают справляться — требуются более мощные аппаратные средства и стандартизированное управление данными.

Основная задача — обеспечить максимально возможный уровень стандартизации. Например, компаниям стоит централизовать администрирование имеющихся СХД, в идеале — через единый интерфейс. Универсальное представление данных сильно облегчит их сортировку, управление и использование.

Гибридные хранилища и многоуровневые системы

Многие компании хотят или испытывают потребность использовать комбинацию локального хранилища и облачных платформ. Тем, кому нужен быстрый доступ к большим объемам данных, по-прежнему необходимо локальное развертывание СХД с различным типом доступа к данным. При этом также важно хранить менее востребованные данные в облаке, например, для выполнения резервного копирования или архивирования. Для оптимизации хранилищ используются механизмы многоуровневого хранения, которые автоматически выбирают, где нужно хранить те или иные данные — локально или в облаке.

Искусственный интеллект на основе быстрого хранилища

Развитие искусственного интеллекта — ещё одна тенденция, которая, вероятно, окажет влияние на системы хранения. Здесь важную роль играют большие объёмы данных, особенно на стадии машинного/глубокого обучения: алгоритмы анализируют накопленную информации по определенным характеристикам, и затем «тренируются» на этих данных. И чем больше данных, тем умнее и точнее будут алгоритмы.

Везде, где используются системы на основе GPU, решающее значение имеет скорость обмена данными между алгоритмами ИИ и системой хранения. В конечном счете, задача та же: найти правильное сочетание локальных и облачных систем хранения.

Локальные дата-центры для ускорения подключения

Облачные провайдеры всё серьезнее осознают необходимость обеспечения максимально быстрого подключения к корпоративной инфраструктуре. Гиганты вроде Microsoft и Amazon строят новые дата-центры географически как можно ближе к пользователям, помогая им устранить или снизить проблему низкой скорости подключения к облачной инфраструктуре.

Это также относится и к менее крупным облачным провайдерам, для которых характерна гораздо большая децентрализация и региональность по сравнению с Azure и AWS. В этих случаях тоже требуется высокая пропускная способность канала, и с помощью меньших дата-центров, расположенных ближе к пользователям, достичь её будет проще. Такие региональные облачные провайдеры предлагают приемлемый компромисс между стоимостью услуг и производительностью. Подобные компании зачастую выступают в роли высокоскоростных точек подключения к публичным облакам, позволяя создавать мультиоблачные решения.

Решения для резервного копирования и восстановления должны соответствовать требованиям

Постоянно растущий объём данных повлияет на резервное копирование и восстановление: гораздо сложнее восстанавливать петабайты данных, чем гигабайты или терабайты. То же самое касается архивирования больших объёмов, хотя длительность этой операции, конечно, не так критична по сравнению с восстановлением. Важную роль будут играть и другие особенности, такие как интеллектуальное индексирование или хранение метаданных. Это связано с необходимостью лёгкого поиска по неструктурированным данным, например, по таким, как видео.

Высокопроизводительные вычисления приходят в средний бизнес

В не слишком отдалённой перспективе даже компании среднего размера не смогут больше эффективно функционировать без решений в сфере высокопроизводительных вычислений (HPC). Раньше это было почти исключительно прерогативой университетов и государственных ЦОД, но в будущем для эффективной обработки данных, генерируемых компаниями среднего размера, тоже потребуются HPC-решения.

По мере увеличения объёма данных, HPC-решения будут необходимы везде, где используются приложения, которым требуются большие вычислительные ресурсы и объёмы хранилищ. Например, в крупных инженерных компаниях, где проводятся сложные локальные вычисления для визуализации 3D-объектов. Без соответствующей вычислительной среды обработка требуемого объёма данных потребует огромного количества времени или окажется вообще невозможна.

Что дальше?

Сфера хранения данных уже претерпевает значительные изменения, но вскоре она изменится еще сильнее. Новые разработки включают в себя объектное хранение для улучшения индексирования и распределения метаданных, а также технологию storage-class memory, позволяющую реализовать более быстрый доступ к информации с минимальными задержками и применением интеллектуального функционала многоуровневого хранения. Кроме того, продолжится укрепление позиций технологии флэш-памяти в виде SSD-накопителей, вытесняющих классические жесткие диски в корпоративной среде.

В высокопроизводительных решениях всё шире будет применяться протокол NVMe-o-F. У некоторых ведущих производителей линейки систем хранения данных уже включает в себя NVMe-модели, выступающие в роли ускорителя для решений на основе традиционных SAS SSD.

Новые технологии помогают заказчикам сэкономить их инвестиции в ИТ. Ведущие производители позволяют просто активировать новые протоколы на имеющихся системах хранения данных, для этого даже не потребуется их замена. Новейшая NVMe-платформа позволяет СХД не только показывать высокие значения IOPS за счет использования NVMe-накопителей, но и обеспечивает максимальную скорость доставки приложений с минимальными задержками. Все это в совокупности позволяет создавать мощные и масштабируемые кластеры систем хранения. Бесспорно, для сферы хранения данных сейчас наступили захватывающие времена: внедряется новое поколение СХД, а на горизонте уже появляются следующие инновации.

Источник: Антон Котцов, менеджер по продукту системы хранения данных, Lenovo