2010年7月10日土曜日

Hadoop業界アップデート:Hadoop Summit 2010でプレス発表満載、新技術の登場(長いですよ)

Cloudera社がHadoop関連ツールをOpen Coreモデルで提供開始

Hadoop logo
Clouderaが3月から配布を行っているApache Hadoopの新規コードと追加のツールを提供開始し始めた。

製品は、Cloudera Enterprise と呼ばれ、コアであるHadoop本体はオープンソースではあるため無償配布だが、追加機能分はSubscriptionという形で有償提供する、というOpen Coreのモデルを採用しているのがポイント。

このコードは、企業向けにHadoopを導入するプロジェクトを支援するツールであるゆえ、直接の顧客層はITソリューションを提供するベンダーであり、既にAcer、AMD、Datameer、Netezza、Talend、Vertica等のベンダーが名乗りをあげている。


ClouderaがQuest社と協業、Oracle連携を開発

コードネームは「Ora-Oop」と呼ばれ、Oracleデータベースとの間で双方向のデータ転送が出来る機能を提供する。ベースとなっているのは、Sqoopと呼ばれる、CDH(Cloudera Distribution for Hadoop)と呼ばれるデータプラットホームの一コンポーネントで、SQLデータベースからHadoopにデータ移行する機能を提供する。

Quest社は従来よりOracleに絡んだ開発を強みとしている。 このノウハウをHadoop飲みならず、Cassandra、HBase、Amazon SimpleDB、Microsoft Azure、等のnon-SQLデータベースへの連携も着手している、とのこと。

Oracleが未だにnon-SQLに対する戦略を全く見せていない、ということもこういうベンダーに対してビジネスチャンスを提供している、と言える。


YahooがHadoopにKerberosを連携、セキュリティ強化、さらにワークフロー機能、Oozieを開発


YahooがHadoopの機能を強化する戦略を発表し、その一環としてKerberosセキュリティとワーフロー管理の機能をHadoopプラットホーム上に開発し、オープンソースとして提供することを明確にした。

具体的には、Kerberosの認証機能を実装し、データのセキュリティを強化する機能を提供する。 複数のセキュリティレベルをHadoopのデータベース上で設定するときに、Kerberosがそれぞれのセキュリティアクセスを容易にする機能をもつ。  Kerberosはマルチテナント機能をサポートするため、セキュリティレベルの異なる複数のアプリケーションやデータを一つのグリッドに載せることが出来る、というのも特徴。

一方では、Yahooが開発したワークフローの製品は、Oozieと呼ばれる。
Hadoop上で動く様々なジョブのワークフロー管理を行い、Hadoop Distributed File System、Pigデータフロー言語、MapReduceソフトウェアフレームワークを含む。


Adobe社がHadoop管理のためのPuppetモジュールを提供


Puppet Labs社の発表によると、Adobe社がデータセンタのシステム構成管理の自動化を提供するPuppet ModulesにHadoopインスタンスを統合して管理できる機能を合わせて提供する事を明らかにしている。

同社はHadoopがデータセンタで採用されるケースが急増していることを認識し、自社の管理ツールがカバーできるようにするための開発の必要性を感じていた、との事。
"Organizations are deploying Hadoop at an unprecedented rate in an ever broader range of use cases," said Charles Zedlewski, Sr. Director of Product Management at Cloudera. "As companies move Hadoop into more production situations they are increasingly focused on the ease of management and administration. Puppet represents a good complement to Cloudera's enterprise software and support for the Hadoop platform."


Appistry社がHadoop関連ベンダーの提携を発表


Appistry社がHadoop関連技術を提供するベンダー、Concurrent社、Datameer社、Kitenga社と戦略アライアンスを組む、と発表している。
3社のユーザは、開発したアプリケーションに手を入れずに、Appistry CloudIQ Storageを統合し、エンタプライズ向けのファイルシステムを構築する事ができる、との事。CloudIQの大きな特徴は、HDFS(Hadoop Distributed File System)より信頼性の高い分散データベースをシステムを構築する事ができる、という点が売り。

Concurrentは、Cascadingと呼ばれるMapReduceの上を走るオープンソースプロジェクトを開発し、Java APIを介して並列演算を容易に構築するつーるを提供している。

Datameer社は、Hadoop上のデータのアナリティクスを提供するツール。  Hadoop管理する大量のデータを効率よく分析する機能を提供しており、4000台のサーバと数ペタバイト級のデータまでスケールすることが出来る。

Kitenga社はマルチメディアデータのマイニング機能を提供するベンダー。


Karmasphere社が新機能を開発、HiveをHadoopでサポート



Karmasphere Studio Analyst Editionという製品でHiveをHadoopインフラの上に構築し、BigDataのデータウェアハウス機能を提供できる様になった、と発表している。これは同社の製品がAWSのElastic MapReduceでサポートされたのに続く開発。