Cloud Storage

В начале тысяча девятьсот шестидесятых годов фундаментальная проблема сдерживала потенциал вычислительной техники: данные оставались привязанными к конкретным машинам, что препятствовало подлинной совместной работе и мгновенному доступу на расстоянии. Исследователи и учреждения боролись с фрагментированной информацией, требуя громоздких физических передач или прямого доступа к машине для каждого взаимодействия. «Доктор Ликлайдер, — начал его коллега, доктор Арвид Герц, указывая на катушечный магнитофон, — наши локальные решения для хранения данных быстро становятся критическим препятствием. Как мы можем по-настоящему делиться знаниями, когда каждый набор данных — это остров, привязанный к своему физическому оборудованию?» Джей. Си. Ар. Ликлайдер, пионер компьютерных наук из Массачусетского технологического института, задумчиво ответил: «Действительно, Арвид. Проблема не только в объеме хранения; она в доступности. Нам нужны симбиотические отношения между людьми и машинами, где информация — это не физический товар, а текучий ресурс, доступный из любого места».

До появления широко распространенных сетевых вычислений каждое учреждение, да и каждый человек, функционировали в рамках отдельных информационных хранилищ. Информация хранилась на перфокартах, магнитных лентах или ранних жестких дисках, требуя прямого физического взаимодействия с конкретной машиной, содержащей данные. «Представьте, Арвид, — продолжал Ликлайдер, расхаживая по небольшому, заставленному оборудованием проходу, — какая неэффективность! Исследователь в Калифорнии, которому нужны данные, собранные здесь, в Массачусетсе, столкнулся бы с задержками в дни, возможно, даже недели, из-за транспортировки физических носителей. Это не сотрудничество; это последовательные неудобства». Герц кивнул: «И репликация. Каждый критически важный набор данных должен быть скопирован, сохранен и управляем локально, что приводит к кошмарам контроля версий и избыточной инфраструктуре. Это как если бы каждому нужна была своя личная библиотека для каждой отдельной книги».

Ограничения физических носителей данных стимулировали радикально новое мышление. Провидцы начали представлять мир, где вычислительные ресурсы, включая хранилище, не принадлежат отдельным лицам, а предоставляются как коммунальная услуга, подобно электричеству или воде, доступная каждому по требованию. «Наша задача, — размышлял Герц, прислонившись к гудящей серверной стойке, — выйти за рамки отдельных машин. Мы должны представить сами вычисления как общественную услугу. Но как нам объединить такие разнообразные ресурсы — вычислительную мощность, память, хранилище — и абстрагировать их в единый, бесшовный сервис?» Глаза Ликлайдера загорелись. «Именно, Арвид! Мы должны создать систему объединения ресурсов, где огромная коллекция взаимосвязанных машин может делиться своими возможностями. Эта абстракция, представляющая собой единый, кажущийся бесконечным ресурс, является ключом. Как позже сформулировал Джон Маккарти в своем видении «утилитарных вычислений»: «Если компьютеры когда-либо станут такими же простыми в использовании, как телефоны, они должны быть организованы как общественная услуга». Это означает общую инфраструктуру, а не отдельные машины, предлагающую надежность и масштабируемость. Эта концепция абстрагирования базовых физических ресурсов в виртуальный сервис по требованию является основополагающей для всего, что мы себе представляем».

Глубокое видение Дж.К.Р. Ликлайдера выходило за рамки простого разделения времени. В тысяча девятьсот шестьдесят втором году он сформулировал концепцию «Межгалактической компьютерной сети» — обширной глобальной сети, соединяющей компьютеры и пользователей, обеспечивающей всеобщий доступ к данным и программам из любой точки Земли. «Суть этой сети, — объяснил Ликлайдер группе исследователей Массачусетского технологического института, указывая на сложную схему на проекторе, — заключается не просто в соединении двух машин, а в создании всеобъемлющего цифрового достояния. Представьте себе глобальную библиотеку, огромное хранилище информации и вычислительной мощности, мгновенно доступное любому, в любом месте. Это больше, чем передача данных; это общий опыт». Молодой исследователь, доктор Элейн Рид, спросила: «Но, доктор Ликлайдер, как мы преодолеем присущие задержки и проблемы с надежностью на таких огромных расстояниях? Поистине «межгалактическая» сеть представляет собой монументальные инженерные проблемы».

Одновременно с сетевым видением Ликлайдера, Джон Маккарти, еще одна основополагающая фигура в области искусственного интеллекта и компьютерных наук, отстаивал идею «утилитарных вычислений». Эта концепция фундаментально изменила экономическую модель вычислений, отойдя от дорогостоящего, выделенного оборудования к общим, оплачиваемым по мере использования услугам. «Аргумент в пользу утилитарных вычислений убедителен, Джон», — заметил коллега-пионер в области искусственного интеллекта Марвин Мински во время совещания отдела, — «но убедить учреждения отказаться от контроля над своими выделенными машинами, доверить свои критически важные операции общей инфраструктуре, будет серьезным психологическим и техническим препятствием». Джон Маккарти, человек с сосредоточенным взглядом и аккуратной бородой, ответил: «Действительно, Марвин. Но экономия от масштаба неоспорима. Отдельные департаменты или компании приобретают только то время обработки и объем хранения, которые они потребляют, вместо того чтобы инвестировать в недоиспользуемое оборудование. Переход осуществляется от владения инфраструктурой к подписке на услугу. Это обеспечивает доступ к гораздо более мощным системам, чем любая отдельная организация могла бы себе позволить».

Визионерские концепции сетевого доступа и утилитарных вычислений столкнулись с огромными практическими трудностями. Создание по-настоящему надёжной, масштабируемой и безопасной системы требовало прорывов в проектировании центров обработки данных, сетевых протоколах и сложном программном обеспечении, способном виртуализировать и управлять огромными пулами ресурсов. «Сама сложность управления данными на тысячах машин, обеспечение их целостности и доступности, пугает, — заметила доктор Сара Дженкинс, системный архитектор конца тысяча девятьсот девяностых годов, просматривая чертежи нового центра обработки данных. — Как нам абстрагировать физическое местоположение данных от пользователя? Как обеспечить избыточность без чрезмерных затрат и масштабировать без ущерба для производительности? Это тонкий баланс». Её коллега, Дэвид Чен, ответил: «Действительно, Сара. Ранние попытки часто страдали от единых точек отказа. Прорыв произойдёт благодаря по-настоящему распределённым архитектурам, где данные не просто хранятся централизованно, но реплицируются на нескольких независимых узлах. Это требует сложных распределённых файловых систем и протоколов объектного хранения, которых не существовало во времена Ликлайдера или Маккарти».

Критический технический прорыв, сделавший возможным современное облачное хранилище, произошел с развитием масштабируемых объектных систем хранения данных. Вместо традиционных файловых систем, которые организуют данные в иерархические папки, объектное хранилище рассматривает данные как дискретные единицы, каждая из которых имеет уникальный идентификатор и метаданные, распределенные по обширной сети серверов. «С объектным хранилищем, — объяснил Чен Дженкинсу, прослеживая путь на голографической схеме, — каждый фрагмент данных — документ, изображение, видео — становится «объектом». Этот объект не привязан к конкретному серверу или даже к конкретному диску. Он реплицируется и распределяется по нескольким центрам обработки данных, что означает, что если один сервер выйдет из строя, данные останутся доступными. Это основа нашей отказоустойчивости». Дженкинс кивнул: «И уровень абстракции здесь имеет решающее значение. Пользователю не нужно знать, где находятся его данные; он просто запрашивает их, и система интеллектуально извлекает ближайшую, наиболее доступную копию. Это практическая реализация универсального доступа Ликлайдера, построенная на основе распределенной избыточности и эластичности».

Концептуальные видения и технические прорывы слились в осязаемые услуги в начале двадцать первого века. Amazon Web Services (Эй-Дабл-Ю-Эс) запустила свой Simple Storage Service (Эс-Три) в две тысячи шестом году, предложив общественности высокомасштабируемое, надежное и экономичное решение для объектного хранения, эффективно демократизируя доступ к массивной вычислительной инфраструктуре. «Это монументально», — воскликнула ведущий инженер Аня Шарма во время подведения итогов запуска Эс-Три, глядя на статистику использования, проецируемую на экран. «Темпы внедрения превышают все наши прогнозы. Компании, от стартапов до крупных предприятий, принимают эту модель. Им больше не нужно самостоятельно обеспечивать свое оборудование для хранения данных; они просто платят за то, что используют». Ее коллега, Марк Олсен, добавил: «Действительно, Аня. Мы полностью реализовали видение «объединения ресурсов» и «абстракции», о которых мечтали Ликлайдер и Маккарти. Сделав обширное хранилище доступным как коммунальную услугу, мы освободили бесчисленные организации от бремени управления инфраструктурой, позволив им сосредоточиться на инновациях. Эс-Три воплощает идею Маккарти о том, что «компьютеры могут быть организованы как общественная услуга», предлагая беспрецедентный уровень эластичного хранения».

В своей основе облачное хранилище работает по принципам распределенной избыточности и эластичности. Когда пользователь загружает данные, они разбиваются на более мелкие фрагменты, шифруются и реплицируются на нескольких географически распределенных серверах и в центрах обработки данных. Это обеспечивает высокую доступность и устойчивость к аппаратным сбоям. «Думайте об этом так, — объяснил Олсен, демонстрируя на планшете упрощенную облачную архитектуру, — когда вы загружаете файл, он не сохраняется на один физический диск. Вместо этого наша система интеллектуально дублирует его — иногда многократно — и распределяет эти копии по разным серверам, даже в разных регионах. Эта распределенная избыточность является причиной того, почему, если один центр обработки данных выходит из строя, ваши данные остаются доступными из другого». Шарма уточнил: «И именно здесь метафора «облака» по-настоящему оживает. Это обширная, взаимосвязанная сеть, где ресурсы гибко и по требованию расширяются. Пользователь получает бесшовное, практически безграничное решение для хранения данных, полностью отделенное от базовой физической инфраструктуры. Эта эластичность означает, что вы можете мгновенно увеличивать или уменьшать емкость хранилища, не приобретая и не управляя каким-либо оборудованием».

Облачное хранилище коренным образом изменило цифровой ландшафт, обеспечив беспрецедентное сотрудничество, масштабируемость и доступность данных. От личных фотоархивов до глобальных корпоративных баз данных, «облако» стало повсеместной основой современной информационной эпохи, трансформируя то, как мы создаем, делимся и потребляем цифровой контент. «Последствия огромны», — размышлял Шарма, наблюдая за многопанельным дисплеем, показывающим различные облачные приложения. «От потоковых сервисов, доставляющих медиа по всему миру, до ученых-исследователей, обменивающихся массивными наборами данных для совместных прорывов, до обычных людей, создающих резервные копии своих воспоминаний — все это опирается на эту распределенную архитектуру. Речь больше не идет о владении данными, а о доступе к ним, управлении ими и использовании их мощности». Олсен заключил: «Действительно. Облачное хранилище способствовало наступлению эры беспрецедентной цифровой свободы и инноваций. Это невидимая утилита, которая питает наш взаимосвязанный мир, свидетельство неизменного видения всеобщего доступа и общих вычислительных ресурсов».