Каждую секунду в мире появляется куча (КУЧА!) данных Где они все хранятся? А может ли им не хватить места?

За десятилетие, а особенно за последние несколько лет, человечество сгенерировало очень много данных. Их количество растет в геометрической прогрессии. Например, с 2015 по 2020 год их количество удваивалось каждые два года. Вместе с облачной платформой BeeCLOUD от «Билайн Бизнес» рассказываем, как много данных создает каждый из нас и сколько времени нужно, чтобы скачать интернет.

Сегодня человечество генерирует столько данных, сколько никогда прежде

С момента появления интернета в 1989 году число его пользователей и воспроизводимого контента постоянно росло. В 1993 году в интернете было всего 130 сайтов, которыми пользовались около 3 млн человек. В 2014-м сайтов впервые стало больше миллиарда, а в 2020-м их количество перевалило за 1,8 млрд. И хотя около 75% из них неактивны, каждый день это количество приумножается — примерно на 550 тысяч. 

В 2020 году за секунду для одного жителя планеты создавались 1,7 Мб информации. В одном только Facebook генерируется по 4 петабайта каждый день. Google выполняет более 40 тысяч поисковых запросов в секунду, а по всему миру люди каждую секунду отправляют друг другу почти 3 млн писем. Всего за прошлый год пользователи произвели 59 зеттабайт данных, или почти 670 трлн полнометражных фильмов. А к 2025 году этот показатель утроится.

Все это происходит из-за распространения смартфонов с кучей датчиков и камер

В 2020 году в мире было 3,5 миллиарда пользователей современных смартфонов (это 45% населения планеты). Разумеется, эти устройства позволяют не только звонить и писать, но и слушать музыку, смотреть кино, читать новости, пользоваться картами, вызывать такси, заказывать еду, следить за сердечным ритмом, отслеживать физическую активность и, конечно, смотреть тиктоки. С помощью множества встроенных датчиков смартфоны собирают огромный массив данных. Уже сегодня 31% владельцев смартфонов хотя бы раз в неделю используют голосовой поиск, а это дополнительная информационная нагрузка. Если смартфон подключен к устройствам умного дома — розеткам, лампам, системе видеонаблюдения, — данных становится еще больше. Кстати, по оценкам аналитиков, в 2021 году мобильных станет еще на 300 млн больше.

А еще дело в скоростном интернете

В 2009 году средняя скорость интернета в США составляла 5 Мбит/c, а спустя 10 лет выросла в 20 раз. Для сравнения: при скорости 1993 года (56 Кбит/с) скачивание одной песенки в MP3 занимало 10 минут, а на фильм и вовсе требовалось больше суток. В августе 2020 года инженеры Университетского колледжа Лондона (UCL) установили новый рекорд скорости передачи данных — 178 Тбит/с, или 178 000 Гбит/c. Это позволяет за 1 секунду загрузить 200 фильмов в разрешении 4K, за 20 секунд — всю медиатеку Netflix, а за 37 секунд — все ролики с YouTube.

Весь бизнес — от огромных корпораций до стартапов — давно перешел в цифровую среду

Сегодня собственные сайты есть у подавляющего большинства даже малых бизнесов, ведь завести его и хранить большие массивы данных (базы клиентов, каталоги товаров и т. д.) стало дешевле. Во многом это произошло благодаря облачным хранилищам, которые заменяют физические серверы, не требуют дополнительной платы за обслуживание и починку. Сегодня облачные хранилища используют уже 94% крупных компаний, а к 2025 году туда переместится 80% всей рабочей нагрузки в мире. Кроме того, к тому времени 75% рабочих мест будут занимать миллениалы (то есть самые активные пользователи IT), поэтому большинство профессий поменяют облик. 70% рекрутинга возьмут на себя искусственный интеллект и боты (они работают в том числе благодаря облаку), а 80% всех продаж будут автоматизированы.

«Билайн Бизнес» предоставляет комплекс IT-решений BeeCLOUD — это геораспределенная облачная платформа для компаний разной величины. BeeCLOUD фокусируется на развитии хостинга различных платформ, сервисах PaaS, инфраструктуре по модели IaaS, на облачной аналитике. Сервис позволяет хранить и резервировать данные, размещать высоконагруженные системы, объединять облачную инфраструктуру с AI-платформами. А еще компания предлагает свою экспертизу в области больших данных и машинного обучения.

Благодаря пандемии цифровых данных стало только больше

87% опрошенных IT-руководителей ведущих мировых компаний заявили, что пандемия сильно ускорила миграцию их бизнесов в облако. На облачную платформу можно вынести не только большинство ИТ-систем, но и корпоративные коммуникации, защищенные данные, организовать удаленные рабочие места, обеспечить взаимодействие команд. Облака помогают ускорить тестирование новых продуктов, подключая только те ресурсы, которые необходимы в данный момент. С ними бизнес меньше зависим от физической инфраструктуры, способен быстрее масштабироваться и обращаться с затратами. Наконец, облачные платформы защищают бизнес от непредвиденных ситуаций — от стихийных бедствий и краж до рядовой поломки оборудования. Неудивительно, что акции облачных сервисов на этом фоне подорожали вдвое: компании тратят на них уже 15% IT-бюджета. 

Компании часто хранят данные на физических серверах, считая, что это надежнее. Но это не так. Один из постоянных клиентов «Билайн Бизнес», крупный логистический оператор с 70-летним опытом работы, хранил данные на серверах офиса. Но после технической экспертизы оказалось, что сервисы компании испытывают слишком большую нагрузку и могли в любой момент выйти из строя. Если бы это произошло, работа всей компании была бы парализована. Летом 2020 года оператор перенес серверы 1С на облачную платформу BeeCLOUD — клиент смог повысить отказоустойчивость сервиса и производительность приложений 1С в облаке BeeCLOUD (это важно, когда компания постоянно расширяется).

Вещи уже генерируют больше данных, чем люди

Согласно отчету Data Attack Surface Report, объем данных в облаках к 2025 году достигнет 100 зеттабайт — это примерно 50% всех цифровых данных в мире. Причем 80% всех новых данных будут генерироваться не нами, живыми пользователями, а умными гаджетами. Больше всего их производят четыре отрасли: промышленность, финансовый сектор, медиабизнес и здравоохранение. Из-за пандемии нагрузка на последнюю возросла многократно, но и до 2020 года на этом рынке было колоссальное количество данных. Это информация о каждом пациенте, включая его историю болезней и схемы лечений, а также данные о загруженности больниц, их оснащении и количестве персонала. Банки, финансовые организации производят и хранят информацию не только о транзакциях, но и держателях кредитных и дебетовых карт, вкладчиках. А производители контента (создатели фильмов, продюсерские центры, звукозаписывающие компании и другие медиакомпании) имеют дело с самым тяжелым контентом — фильмами, клипами и музыкой.

Но скоро всю библиотеку мира можно будет хранить на игольном ушке

Если объем данных будет расти нынешними темпами, то скоро человечеству придется застроить все города дата-центрами — или придется отказаться от некоторых данных. Но компании разрабатывают все новые способы работы с информацией. В 2020 году несколько корпораций объявили о создании альянса по хранению данных на ДНК. Для записи данных специалисты будут использовать не двоичный подход, а четыре основания ДНК: аденин, гуанин, цитозин и тимин. Данные, перекодированные с помощью этой системы, представляют собой цепочку ДНК, синтезированную в лаборатории и сохраненную в виде жидкости. Затем информацию с нее можно считать с помощью ДНК-секвенатора. Один грамм носителя ДНК может хранить около 1 зеттабайта данных. То есть для записи всей информации в мире на сегодня понадобилось бы менее 20 граммов носителя. Еще один экзотический способ хранения данных — 5D-оптическая память. Английские разработчики придумали, как записывать данные на крошечный кварцевый диск, где информация кодируется в нескольких слоях, а к привычным измерениям добавляются размер и ориентация по наноточкам. На мини-накопитель можно записать до 100 петабайт. При этом, как считают эксперты, спрос на AI и другие технологии, требующие серьезных мощностей, будет расти так стремительно, что даже через пять лет в мире все еще будет не хватать IT-специалистов, которые смогут закрыть все потребности.

Одно из главных преимуществ BeeCLOUD — высокая надежность (сервис гарантируется в рамках SLA) и оплата за фактическое потребление. Клиентам сервиса не нужно тратиться на дорогостоящие серверы (чтобы иметь запас вычислительных ресурсов на случай пиковых нагрузок) или терять время на настройку и обслуживание оборудования. В отличие от железа, облако очень гибкое: нужно больше места для данных — объем облака легко увеличивается; необходимость в объеме отпадает — потребление можно снизить. Компания полностью контролирует свои расходы, платит только за то, чем пользуется.