Skip to content

クラウド技術の古典?

10月 20, 2010

世間では「クラウド」がおおはやりのようで、猫も杓子もクラウドxxxなる名前が付いていますが、ことの発端となっているgoogleのクラウド技術についての元情報にアクセスされている方は、結構少ないようです。
つい先日も、「仮想化」を除いたクラウドの技術的な原点はやはりgoogleの三部作であろうという話がありましたので、忘れないうちに原文のリンクを残したいと思います。
なお、今をときめくHadoopプロジェクト (Apacheファンデーションのプロジェクト)はこの三部作の技術をオープンソースで作ろうというところから始まりました。

 


 

なんといっても「古典」の最初は、GFSでしょう。
現在はgoogleでは使っていないとは思いますが、現在のクラウド話の発端になる「分散ファイルシステム」の論文です。この論文を元にHadoop File System (HDFS)が作られました。

次に、大量データを処理するための仕組みを、Map処理とReduce処理に分けて汎用化した「処理基盤」である MapReduce についての論文で、Hadoop MapReduceの元になっているものです。

こちらは、HadoopのHBaseの元になっている スケーラブルなkey-value 型データベースの論文です。

 


 

以上の「古典」三部作のほかにもいろいろな論文をgoogleは公表していますが、最近のHotなところでは、google instant を支える技術として Percolator として知られ、MapReduceに代わるリアルタイム処理を可能にした技術を紹介した論文もあります。

 

以上、取りあえずリンクだけ紹介しましたが、原文はなかなか読みこなすのが難しいです。その上、いまだに日本語訳が出ていないようです。
近い将来、日本語訳が出てくることを期待します。

追記

Google Research の公開論文はPublications by Googlersに一覧があります。

広告
One Comment leave one →
  1. Agile Cat permalink
    10月 25, 2010 2:08 am

    とても重要な論文なので、日本語化を、何とかしたいですね!

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中

%d人のブロガーが「いいね」をつけました。