Cloud Storage

一九六〇年代初頭、コンピューティングの可能性を阻む根本的な課題がありました。データが特定の機械に縛られ、真の共同作業や遠隔地からの即時アクセスが妨げられていたのです。研究者や機関は、断片化された情報に苦慮し、あらゆるやり取りにおいて、面倒な物理的転送や直接的な機械アクセスを必要としていました。 「リクリダー博士」と、同僚のアービッド・ハーツ博士は、リール・トゥ・リール・テープ・ドライブを指しながら切り出しました。「我々のローカルストレージソリューションは、急速に重大な障害となりつつあります。あらゆるデータセットが、その物理的ハードウェアに縛られた孤島であるならば、どうして真に知識を共有できるというのでしょうか？」マサチューセッツ工科大学の先駆的なコンピューター科学者であるJ・C・R・リクリダーは、思慮深く答えました。「まさにその通りだ、アービッド。問題は単なるストレージ容量ではない。アクセシビリティだ。我々には人間と機械の共生関係が必要なのだ。そこでは情報が物理的な商品ではなく、どの場所からもアクセスできる流動的な資源となるのだ。」

広範なネットワークコンピューティングが普及する以前は、あらゆる機関、そしてあらゆる個人が、個別のデータサイロ内で運用されていました。情報はパンチカード、磁気テープ、または初期のハードドライブに保存されており、データを保持する特定の機械と直接物理的にやり取りする必要がありました。 「考えてみてください、アーヴィッド」リックライダーは、小さな、機器が並んだ通路を歩きながら続けた。「なんと非効率なことか！カリフォルニアの研究者が、ここマサチューセッツで編集されたデータにアクセスする必要がある場合、物理メディアの輸送に数日、場合によっては数週間の遅延に直面するでしょう。これはコラボレーションではなく、連続的な不便です。」ヘルツは頷いた。「そして複製です。すべての重要なデータセットは、ローカルでコピー、保存、管理されなければならず、バージョン管理の悪夢と冗長なインフラストラクチャにつながります。まるで、誰もがすべての本のために自分自身の個人的な図書館を必要としているようなものです。」

物理的なデータストレージの限界は、抜本的な新しい思考を促しました。先見の明を持つ人々は、ストレージを含むコンピューティングリソースが個人によって所有されるのではなく、電気や水のように公益事業として提供され、誰もが必要に応じてアクセスできる世界を想像し始めました。 「我々の課題は、」ハーツは唸るサーバーラックにもたれかかりながら熟考しました。「個々のマシンを超えて進むことだ。コンピューティングそのものを公共事業として概念化しなければならない。しかし、処理能力、メモリ、ストレージといった多様なリソースをどのように集約し、それらをシームレスで統一されたサービスに抽象化するのか？」リックライダーの目が輝きました。「その通りだ、アーヴィッド！我々はリソースプーリングのシステムを確立しなければならない。相互接続された膨大な数のマシンがその能力を共有できるようなシステムを。この抽象化、つまり統一された、一見無限に見えるリソースを提示することが鍵だ。ジョン・マッカーシーが後に『ユーティリティ・コンピューティング』のビジョンで述べたように、『もしコンピューターが電話と同じくらい使いやすくなるのであれば、それらは公共事業として組織されなければならない』。これは、個々のマシンではなく、共有されたインフラストラクチャが信頼性と規模を提供するという意味だ。基盤となる物理リソースを仮想のオンデマンドサービスに抽象化するというこの概念は、我々が思い描くすべてのものの基礎となる。」

J.C.R. リックライダーの深遠なビジョンは、単なるタイムシェアリングを超えていました。一九六二年、彼は「銀河間コンピューターネットワーク」という概念を明確に述べました。それは、コンピューターとユーザーを結びつける広大なグローバルネットワークであり、地球上のどこからでもデータとプログラムへの普遍的なアクセスを可能にするものでした。 「このネットワークの本質は」リックライダーは、OHPに映し出された複雑な図を指しながら、MITの研究者グループに説明しました。「単に二台の機械を接続することではなく、遍在するデジタルコモンズを育成することです。想像してみてください。地球規模の図書館、膨大な情報と計算能力の貯蔵庫が、いつでも、どこでも、誰にでも瞬時に利用できるのです。これはデータ転送以上のものです。共有された体験なのです。」若い研究者であるエレイン・リード博士が尋ねました。「しかし、リックライダー博士、そのような広大な距離にわたる固有の遅延と信頼性の問題をどう克服するのですか？真に『銀河間』のネットワークは、途方もない工学的な課題を提示します。」

リックライダーのネットワーク構想と同時に、AIとコンピューターサイエンスにおけるもう一人の基礎的な人物であるジョン・マッカーシーは、「ユーティリティ・コンピューティング」というアイデアを提唱しました。この概念は、コンピューティングの経済モデルを根本的に転換させ、高価な専用ハードウェアから、共有され、使用量に応じて課金されるサービスへと移行させました。 「ユーティリティ・コンピューティングの議論は説得力がある、ジョン」と、同僚のAIパイオニアであるマービン・ミンスキーは部署の会議中に述べました。「しかし、機関に専用マシンの制御を放棄させ、その重要な業務を共有インフラストラクチャに委ねるよう説得することは、手ごわい心理的および技術的なハードルとなるでしょう。」集中した視線と整ったひげを持つ男、ジョン・マッカーシーは答えました。「確かに、マービン。しかし、規模の経済は否定できません。個々の部署や企業は、十分に活用されていないハードウェアに投資するのではなく、消費する処理時間とストレージのみを購入するのです。この転換は、インフラストラクチャを所有することから、サービスを購読することへと変わります。これにより、単一のエンティティが購入できるよりもはるかに強力なシステムへのアクセスが可能になります。」

ネットワークアクセスとユーティリティコンピューティングという先見的な概念は、計り知れないほど多くの実践的な障害に直面しました。真に堅牢でスケーラブルかつ安全なシステムを構築するには、データセンターの設計、ネットワークプロトコル、そして膨大なリソースプールを仮想化して管理できる高度なソフトウェアにおけるブレークスルーが必要でした。 「何千ものマシンにわたってデータを管理し、その整合性と可用性を確保するという途方もない複雑さは、気が遠くなるほどです」と、一九九〇年代後半に新しいデータセンターの設計図を検討していたシステムアーキテクトのサラ・ジェンキンス博士は述べました。「ユーザーからデータの物理的な場所をどのように抽象化するのか？過剰なコストをかけずに冗長性を確保し、パフォーマンスを損なうことなくスケーリングするにはどうすればよいのか？それはデリケートなバランスです。」彼女の同僚であるデビッド・チェンは、「本当にそうですね、サラ。初期の試みでは、単一障害点に苦しむことがよくありました。ブレークスルーは、データが中央に保存されるだけでなく、複数の独立したノードに複製される真に分散されたアーキテクチャからもたらされるでしょう。これには、リックライダーやマッカーシーの時代には存在しなかった、高度な分散ファイルシステムとオブジェクトストレージプロトコルが必要です」と答えました。

現代のクラウドストレージを可能にした極めて重要な技術的ブレークスルーは、スケーラブルなオブジェクトストレージシステムの開発によってもたらされました。データを階層的なフォルダーに整理する従来のファイルシステムとは異なり、オブジェクトストレージはデータを個別の単位として扱い、それぞれが固有の識別子とメタデータを持つ、大規模なサーバーネットワーク全体に分散されたものとして扱います。 「オブジェクトストレージでは」チェンはホログラフィックの図面をなぞりながらジェンキンスに説明しました。「データの一つ一つ、つまり文書、画像、動画が『オブジェクト』になります。このオブジェクトは特定のサーバーや特定のディスクにすら縛られません。複数のデータセンターに複製され、分散されるため、たとえ一つのサーバーが故障してもデータは利用可能なままです。これが当社の回復力の核です。」ジェンキンスは頷きました。「そして、抽象化レイヤーがここで非常に重要です。ユーザーは自分のデータがどこにあるかを知る必要はありません。単にそれを要求するだけで、システムが最も近く、最も利用可能なコピーをインテリジェントに取得します。これは、分散冗長性と弾力性という基盤の上に築かれた、リックライダーの普遍的アクセスの実用的な実現です。」

二十一世紀初頭、概念的な構想と技術的なブレイクスルーが融合し、具体的なサービスとして形になりました。アマゾン・ウェブ・サービス、略してAWSは、二千六年にシンプル・ストレージ・サービス、略してSスリーを立ち上げました。これは、極めてスケーラブルで信頼性が高く、費用対効果に優れたオブジェクトストレージソリューションを一般に提供し、大規模なコンピューティングインフラへのアクセスを事実上民主化しました。 「これは画期的なことです」Sスリーの立ち上げ後の報告会で、主任エンジニアのアニヤ・シャルマは、スクリーンに映し出された利用統計を見ながら叫びました。「導入率は、我々の予測をすべて上回っています。スタートアップから大企業まで、あらゆるビジネスがこのモデルを受け入れています。彼らはもはや、自社のストレージハードウェアを調達する必要はありません。使った分だけ支払えばいいのです。」彼女の同僚であるマーク・オルセンは付け加えました。「本当にその通りだ、アニヤ。我々は、リックライダーとマッカーシーが夢見た『リソースプーリング』と『抽象化』のビジョンを完全に実現したんだ。膨大なストレージを公共サービスとして利用可能にすることで、数えきれないほどの組織をインフラ管理の負担から解放し、イノベーションに集中できるようにした。Sスリーは、『コンピューターは公共サービスとして組織できる』というマッカーシーの考えを体現し、前例のないレベルの弾力的なストレージを提供しているんだ。」

クラウドストレージは、その核となる部分において、分散冗長性と弾力性の原則に基づいて動作します。ユーザーがデータをアップロードすると、データはより小さなチャンクに分割され、暗号化され、地理的に分散した複数のサーバーとデータセンターに複製されます。これにより、高い可用性とハードウェア障害に対する回復力が保証されます。 「このように考えてみてください」と、簡略化されたクラウドアーキテクチャを示すタブレットで説明しながらオルセンは言いました。「ファイルをアップロードするとき、それは一つの物理ディスクに保存されるわけではありません。代わりに、私たちのシステムはそれをインテリジェントに複製し、時には何度も複製し、それらのコピーを異なるサーバー、さらには異なる地域に分散させます。この分散冗長性があるからこそ、一つのデータセンターがオフラインになっても、あなたのデータは別の場所からアクセス可能なままなのです。」シャルマはさらに詳しく説明しました。「そして、そこで『クラウド』という比喩が真に生き生きとしてくるのです。それは広大で相互接続されたネットワークであり、リソースはオンデマンドで柔軟に伸縮します。ユーザーは、基盤となる物理インフラストラクチャから完全に切り離された、シームレスで事実上無限のストレージソリューションを体験します。この弾力性とは、ハードウェアを購入したり管理したりすることなく、ストレージ容量を瞬時に増減できることを意味します。」

クラウドストレージはデジタル環境を根本的に再構築し、これまでにないコラボレーション、スケーラビリティ、データアクセスを可能にしました。個人の写真アーカイブからグローバルな企業データベースに至るまで、「クラウド」は現代の情報時代のユビキタスなバックボーンとなり、デジタルコンテンツの作成、共有、消費の方法を変革しています。 「その影響は計り知れません」とシャルマは、様々なクラウドアプリケーションを表示するマルチパネルディスプレイを見ながら考察しました。「世界中にメディアを配信するストリーミングサービスから、共同研究の画期的な進歩のために膨大なデータセットを共有する科学研究者、そして日々の思い出をバックアップする一般の人々まで、すべてがこの分散アーキテクチャに依存しています。もはやデータを所有することではなく、アクセスし、管理し、その力を活用することなのです。」オルセンは締めくくりました。「確かに。クラウドストレージは、前例のないデジタルな自由と革新の時代を育んできました。それは、私たちの相互接続された世界を動かす目に見えないユーティリティであり、普遍的なアクセスと共有コンピューティングリソースという永続的なビジョンの証です。」