29 июня 2011 г.

Корпорация EMC объявила результаты проведенного по ее заказу аналитическим агентством IDC исследования «Цифровой Вселенной» «Extracting Value from Chaos» («Как получить пользу от хаоса»), согласно которому объем информации во всем мире увеличивается более чем в два раза каждые два года и в 2011 году будет создано и реплицировано 1,8 зеттабайт данных – быстрее, чем по закону Мура.

Это проводимое уже четвертый год подряд исследование (в ходе которого оценивается и прогнозируется объем ежегодно создаваемой и копируемой цифровой информации, а также анализируется ее влияние на потребителей, корпоративный сектор и ИТ-специалистов) крайне важно для понимания экономических, социальных и технологических изменений и новых возможностей, которые создают большие данные.

Для того чтобы оценить, насколько колоссален объем в 1,8 зеттабайт данных, можно привести следующие теоретические сравнения:
- чтобы сгенерировать 1,8 зеттабайт данных, каждый человек в России должен загружать на «Твиттер» по три записи в минуту непрерывно в течение 58 716 лет;
- чтобы сгенерировать 1,8 зеттабайт данных каждый человек на Земле должен делать в день более 215 млн. снимков высокого разрешения на томографе;
- 1,8 зеттабайт данных эквивалентны 200 млрд. фильмов HD продолжительностью 2 часа каждый, чтобы просмотреть все эти фильмы одному человеку потребуется 47 млн. лет, если он будет смотреть их непрерывно 24 часа в сутки;
- для хранения 1,8 зеттабайт данных потребуется 57,5 млрд. Apple iPad со встроенной памятью объемом 32 Гбайт. С помощью такой армии iPad`ов можно:
    построить стену из iPad`ов длиной 4005 миль и высотой почти 20 м от Анкориджа на Аляске и до Майами во Флориде;
    построить из iPad`ов копию Великой Китайской стены, которая будет вдвое выше оригинала;
    построить вокруг всей Южной Америки стену высотой 6 м;
    покрыть 86% территории города Мехико;
–    построить гору, которая в 25 раз выше Фудзиямы.
Основные стимулы такого непрерывного роста – прогресс технологий и деньги. Новые технологии «укрощения информации» снизили стоимость создания, сбора, классификации информации и управления ею в шесть раз по сравнению с 2005 годом. Кроме того, с 2005 года ежегодные инвестиции корпоративного сектора в Цифровую Вселенную (включая облака, оборудование, программное обеспечение, сервисы и персонал для создания информации, управления ею и извлечения с ее помощью прибыли) выросли на 50% –до 4 трлн. Долларов США.

Основные выводы исследования

- Численность ИТ-персонала не соответствует быстрому росту числа серверов, потребностей в управлении данными и объемов файлов: IDC отмечает, что квалификация, опыт и ресурсы ИТ-персонала явно не соответствуют бурному росту объемов данных. В следующие десять лет вплоть до 2020 года ИТ-департаменты по всему миру могут столкнуться со следующими проблемами:
    в 10 раз станет больше серверов (как физических, так и виртуальных);
    объем информации, которой нужно управлять, вырастет в 50 раз;
    в 75 раз вырастет число файлов или контейнеров, в которых информация инкапсулируется в Цифровой Вселенной. Число этих объектов будет расти даже быстрее, чем объем хранимой в них информации, поскольку будет использоваться все больше встроенных систем, например, интеллектуальные датчики в одежде, мостах, медицинских устройствах;
    численность ИТ-персонала, который управляет всей этой информацией и серверами, вырастет всего лишь в 1,5 раза!

- Внедрение облачных вычислений снижает расходы и улучшает эффективность операций: хотя сегодня на долю облачных вычислений приходится менее 2% затрат на ИТ, IDC прогнозирует, что к 2015 году почти 20% информации будет проходить через провайдеров услуг облачных вычислений, т. е. в течение своего жизненного цикла она какое-то время будет храниться в облаке или обрабатываться в нем. Возможно, до 10% информации будет постоянно храниться в облаке.

- Цифровая вселенная живет собственной жизнью: объемы информации, которые генерируют люди, когда составляют документы, снимают фото, загружают музыку и т. п., намного меньше, чем информация, которая о них создается в Цифровой Вселенной.

- Ответственность ложится на плечи корпораций: хотя 75% информации в Цифровой Вселенной генерируется индивидуальными пользователями, корпорации несут определенную долю ответственности за 80% информации в Цифровой Вселенной в течение жизненного цикла этой информации.

Джереми Бёртон (Jeremy Burton),  директор по маркетингу корпорации EMC: «Хаотический рост объемов информации открывает новые бесчисленные возможности, связанные с фундаментальными изменениями в обществе, технологиях, науке и экономике. Большие объемы данных меняют подход бизнеса к управлению информацией, которая является самым важным ресурсом предприятия, и извлечению из нее ценности. EMC находится в идеальной позиции для того, чтобы помочь нашим клиентам, начиная от крупнейших корпораций и до предприятий малого бизнеса, найти скрытые ценности в Цифровой Вселенной по мере своего перехода к  облачным инфраструктурам».

Другие выводы исследования

- Новые инструменты для сбора данных, их поиска, обнаружения и анализа помогают организациям извлечь важную информацию из своих неструктурированных данных, на долю которых приходится более 90% Цифровой Вселенной. Эту инструменты могут создавать данные о данных автоматически, подобно тому, как работает программа распознавания лиц, с помощью которой снабжаются метками фотографии Facebook. Объемы метаданных (данных о данных) растут вдвое быстрее, чем вся Цифровая Вселенная.

- Инструменты Business Intelligence все чаще имеют дело с данными реального времени, идет ли речь об определении размера страховки на автомобиль в зависимости от маршрутов, которыми пользуется его владелец, передачи электроэнергии через интеллектуальную сеть grid или выставлении счета за автоматически выплывающие рекламные сообщения в зависимости от реакции на них в социальных сетях.

- Новые средства управления хранением, включая дедупликацию, автоматическое перемещение данных между уровнями хранения (auto-tiering) и виртуализацию, сокращают стоимость хранения Цифровой Вселенной, а также помогают нам определить, что именно будет храниться, как это делают решения для управления содержанием.

- Новые практики и средства безопасности помогают предприятиям идентифицировать информацию, которую необходимо защитить, и определить, какой уровень защиты этой информации нужен. Это реализуется с помощью специальных приставок безопасности и программного обеспечения защиты от угроз, систем предотвращения мошенничества и защиты репутации компании.

- Решения для облачных вычислений, в том числе общедоступные, частные и гибридные, предоставляют предприятиям более выгодные с экономической точки зрения возможности масштабирования, обеспечения динамичности и гибкости, чем традиционные ИТ-среды. В долговременной перспективе они станут ключевым инструментом решения проблемы усложнения Цифровой Вселенной.

- Облачные вычисления реализуют использование ИТ как сервиса (IT-as-a-Service). В сочетании с феноменом Больших объемов данных они создают сильный стимул для организаций потреблять ИТ как внешний сервис вместо инвестирования в свою внутреннюю инфраструктуру.  

- Рост Цифровой Вселенной, по-прежнему, опережает рост емкости систем хранения. Однако следует учитывать, что 1 гигабайт хранимого контента может генерировать 1 петабайт и более временных данных, которые обычно не сохраняются (например, мы смотрим, но не сохраняем передачи цифрового телевидения, как и обычно не сохраняем свои разговоры по телефону даже если они сделаны с помощью цифровой телефонии).

- Менее трети информации в Цифровой Вселенной имеет какую-либо защиту и только половина важной информации защищена.

Источник: Пресс-служба компании EMC