| |||||||||||||||||||||||||||||||||||||||||||||||||||||||
2013年12月7日土曜日
Invitation to connect on LinkedIn
2013年3月5日火曜日
[#Cloud #クラウド ] OpsWorksとAWSバイオドームの関係？AWSの発表したOpsWorksの本当の意味と、今後のIaaS市場の流れ
一言で表現すると、AWSの今後向かっている方向は、バイオドームである、と評されている。様は全てのIT運用管理をAWSの提供するサービスで閉じてしまおう、という事である。従来のAWSの持っていた、3rd partyベンダーとのエコシステムを少しずつであるが、壊しつつある、という考え方であり、業界としては大きな関心をもって注目すべきである、と言う意見が多い。
OpsWorksとは何か？
OpsWorksは、AWSが提供する自社のインスタンスを操作するためのAPIと、オープンソースで提供されているChef（ソフトウェアのインストールと初期化を管理するオープンソース）が合体した様なものです。OpsWorksで構築するのは、AWSで作成するインスタンスや関連するリソースで、従来AWSのコンソールで管理していたリソースをプログラミング出来る、という事です。書いたコードは、Stack（スタック）と呼ばれます。要するに、StackはAWS上のアプリケーション、という事です。DevOpsの狙いは、従来サーバやインスタンスの操作が中心だったAWSの利用を上位のアプリケーションのレイヤーに移行し、システム全体のアプリケーションライフサイクルを管理できるような操作環境を作り上げる事です。この技術、元はAWSが行った数少ない買収の一つ、Peritorという会社から買い上げたScalarium、という製品をベースにした物です。
パートナーにとってどういう意味を持つか？
この発表は、今後のAWSパートナーネットワークに少なからずとも影響を及ぼすもの、と考えられます。大手のSIはまだあまり大きな心配は必要としていませんが、AWSマーケットプレイス等に自社の3rdパーティ製品を掲載していて、尚かつクラウド管理等、AWSの管理機能をエンハンスする様な内容のソリューションを提供するベンダーは今後AWS本体のこういったサービスと直接競合する可能性が高くなっている。OpwWorksに限らず、最近の新機能の発表の一連は、明らかにAWSが自社のサービスを従来のIaaSの閉じた物から上位の方向に上り始めている、という事を示す物である、という理解が業界内で広がり始めている。
業界に対する影響は？
まず、OpsWorksは無償で提供されるので、Chef利用者を中心としたコミュニティが育成されるもの、と想定されます。Chefで作った財産は、AWS上に移植、運用、管理される事になり、かなりのリソースが蓄積されるもの、と考えられます。また、このリソースをベースに、組み合わせやエンハンスを通して新たなライブラリが構築される事も考えられます。
逆に、最大の問題として最も危惧されるのは、AWSアーキテクチャへのロックインです。勿論Chef自体のコード（レシピー）はChefが稼働するプラットホームなら全て互換性が保たれますが、実際のスタック内の記述はAWS APIそのもので、他のIaaS（プライベート、パブリック含め）では稼働する事はまずあり得ません。
AWSバイオドーム内で作ったOpsWorksのStackは最初はうまく動くかもしれませんが、アプリケーションライフサイクルが進むにつれ、だんだんと問題が表面かしてきます。
他のクラウドプロバイダにとってどういう意味を持つのか？
IaaSクラウドプロバイダーは、AWS EC2やS3に同等のコンピューティングプラットホームサービスを提供する事から始まります。今では、かなりのベンダーがこの事業に参画し、市場が賑わってます。加えて、仮想ストレージ、仮想ネットワーク等の付加価値サービスも提供し始めていますが、同時に価格面での競争が激化しており、開発投資にそんなに比重が置けなくなっている現実もあります。市場全体がこのようなCatch-Upの動きを見せる中、AWSはさらに上位のレイヤーのサービスの実現に力を入れてきました。下記が最近だけでも登場しているサービスのリストです。
Route53：AWSのDNSサービス
RDS：AWSのクラウド上のRDBサービス
RedShift：AWS上のデータウェアハウスサービス
CloudFormation：AWSのもう少し低レベルでのAWSインスタン管理ツール
Elastic Beanstalk：オートスケーリングに特化したAWSインスタンスの管理運用サービス
AWSの現在提供するサービスラインに追いつくにもまだまだ新規サービスを作り出す必要があるのが現状です。
OpenStackの動きは顕著なものがありますが、こちらもまだまだ開発（もしくは買収攻勢）に投資を続ける必要がある様です。
最後に：VMWareがPuppetに投資をした事がいろいろな意味でこの動きを生んだ、という分析もあります。最近では初期の投資に加えて、さらに$30Mの追加投資を行った、という事です。これは、構図で言うと、プライベートクラウド業界に於けるVMWare、パブリッククラウド業界に於けるAWS、という棲み分けになります。今後も、この関係柄は続くもの、と想定されており、いわゆる冷戦状態を他のクラウドベンダー、SIベンダーがうまく立ち回る、という市場が形成されて行くもの、と想像されます。
Ippei Suzuki
tel: (714) 930-5000
Twitter = CloudNewsCenter
Skype = ippei.suzuki
facebook = http://www.facebook.com/ippei.suzuki.106
LinkedIn = http://www.linkedin.com/in/ippeisuzuki/
2013年2月9日土曜日
{#BigData #ビッグデータ ]ビッグデータとイン•メモリ演算による分析事業に対する注目
ビッグデータとイン•メモリ演算による分析事業に対する注目
記事＝www.cio.com/article
投稿者＝Allen Bernard, Managing Director @ CIOUpdate.com
投稿日＝12/6/2012
最近のビッグデータ関連のニュースは多く、特にインメモリ(In-Memory)分析や、インメモリ技術、という言葉と連携して使われるケースが多い。昨今のサーバ仮想化の技術や、クラウド技術というのは、考えようによってはメインフレームから培われた仮想化の技術の発展系であって、本質的に時代を変えていく技術として注目されているのは、格段に安くなったDRAMを利用しインメモリ技術を利用したビッグデータ事業である、と言える
予測分析技術に特化したオープンソース言語である、Rの開発者である、Revolution Analytics社のDavid Smith氏は下記のコメントを述べている。
"In-memory has been around a long, long time, but now that we have big data, it's only the availability of terabyte (TB) systems and massive parallel processing [that makes] in-memory more interesting."
「インメモリ技術はかなり前から存在してます。ただ、ビッグデータの登場によって、その技術とテラバイト級の大型並列処理システムの組み合わせがインメモリ技術を大きく成長させる事が出来る。」
SAP HANAや、Oracle Exalyticsの様な、ビッグデータを利用したデータ分析アプリケーションを一つのハードウェアシステムとして組み込んで提供するシステムが登場している。HANAに関しては、Amazon Web Service上でのサービスや、SAPのNetWeaverプラットホーム等でも提供されている。
一方では、データ分析事業のプロバイダーである、SAS , Cognos, Tableau, Jaspersoft社等は自社製品の性能向上を狙い、In-Memory型の製品バージョンを発表している。ただし、Terracotta社のGM、Gary Nakamura氏によると、どの製品も（自社製品も含め）、活用出来るメモリー量もハードウェアではなく、製品自体のソフトウェア的な限界があり、厳密に言うとIn-Memory型のソリューションではない、と厳しく指摘している。
In-memoryソリューションは、データ分析業務の性能改善に寄与する
「要は、一つのプラットホームのフラッシュメモリ上に、データ、さらにそのデータモデルも含めて搭載し、高速で処理する事が出来る、という事が出来るか否かである。」とOpera Solutions社のShawn Belvins氏が述べている。
ビジネス的な観点からも、リアルタイムで大量のデータからビジネス上の決断を促す情報を如何に早く見出すかが重要であり、そこにIn-Memory技術への期待が集まっている。
NewVantage Partners社のPaul Barth氏は、
「In-Memory分析は高速な検索機能によって実現する」
と述べている。特定の地域において、青い自動車に乗っている人の郵便番号等、いろいろな項目同士の関連性を検索機能を駆使する事によって発見する、という作業である。
こういった、関連性を引き出そうとした時に、様々な形でデータを抽出し、関連性を見出すべく比較、分析が行われる。とある条件でデータをディスクから引き出すたびに大量のデータのI/Oが生じ、これがシステム全体の遅延を有無。すべてIn-Memoryで処理する事によって、この遅延を削減する事がポイントである。
データ解析／分析を行う場合、特に企業で戦略的なデータBIを行う際には、母体デーアに対して、様々な角度から上記のデータ抽出検索、分析が繰り返される。回数が多ければ多い程、データ分析を行う時にのスピードの重要性が増してくる。
High-Frequency, Low-Computation Analysis—For Now
今日のビッグデータ分析は、上記のデータ処理によるディスカバリー業務である、と言える。ただし、ビッグデータにおいては対象となるデータ、レコードの数が膨大な量になる事、尚かつ、それを効率よく、高速に処理を行うためにはディスクを使わず、すべてメモリ上の処理で対処する事が必要になってくる。
Facebookにおいて、例えば写真をアップロードすると、ほぼ同時に顔にタグ情報が自動的についてくる機能がある。Facebookは写真がアップされると同時に、写真上の顔一つ一つに対して顔認証のアルゴリズムを走らせ、特徴点を抽出した小さなデータ（40MBの写真に対してタグは40B程度）を生成し記録する。このデータはシステム内の特定のエンジンに移され、顔の認証を行い、名前を特定する。その後は、関係するアカウントに「写真上であなたがタグされました」、とメッセージを発信する。
この一連の処理は、ビッグデータならではの規模で初めて実現する機能である。また、In-Memory分析があるからこそ、この処理を一分に数万回に処理する機能が実現する。大抵のプログラマーは、Javaの制限があるために、100MB以上のデータをIn-Memoryキャッシュに搭載する人は少ない。メモリ上のデータを増やそうとすると、Javaの仮想エンジンを色々とチューニングする必要が生じる。それによって、システムはさらに遅くなる事もある。
現在、In-Memory分析は、高トラフィックで、演算負荷の少ないアプリケーションに向いている。ただ、プラットホーム上に数TB規模のDRAMもしくはフラッシュメモリを確保出来るようになると、アプリケーションの可能性がぐっと高まってくる。IT業界において、こういった高度な分析ビジネスに対するニーズは確実に存在し、分析対象のデータも大量に生成されている中、それを実現するテクノロジーの進歩が待たれている状況である。
テクノロジーが先に登場し、業界があとからそれをビジネスに適用する、という従来のITの業界モデルと異なり、ビッグデータの業界は既に対象となるデータ、そしてそれを高度な分析に利用したい、というニーズが確実に存在する中、従来のSQL型のデータベースインフラから新しいNoSQL/Mapeduce型のインフラに移行しつつあるのが今日の姿である、と言える。ハードウェア的な制限（メモリのコスト、等）が急激に亡くなりつつある状況の中、上記のニーズに対応出来るテクノロジーが登場した瞬間に、急激に市場が立ち上がって成長する事も予測する事が出来る。この急激な波にうまく乗れるかどうかが、企業の成長の分かれ目になる可能性もある。
Ippei Suzuki
tel: (714) 930-5000
Twitter = CloudNewsCenter
Skype = ippei.suzuki
facebook = http://www.facebook.com/ippei.suzuki.106
LinkedIn = http://www.linkedin.com/in/ippeisuzuki/
2013年2月2日土曜日
[#BigData #ビッグデータ ] ビッグデータに関する市場統計情報: クラウドと切っても切れない状況
ビッグデータに関する市場統計情報
記事＝www.cloudtweaks.com
投稿者＝Cloudtweaks
投稿日＝1/2/2013
宇宙的なデジタル情報の広がり
デジタルユニバース、とはグローバルで人間はどれだけデータを今日まで蓄積しているのか、という統計。2005年にはわずか130エクサバイト（ギガバイトの10億倍）だったデータは、どんどん蓄積され、2012年には2,837エクサバイト、2015年には8,591エクサバイト、2020年には40,026エクサバイトになる見込み。
各年ごとのデータ量増加率は；
2005 è 2010 = 9.44倍（年率=1.57倍）
2010 è 2012 = 2.31倍（年率=1.52倍）
2012 è 2015 = 3.02倍（年率=1.45倍）
2015 è 2020 = 4.65倍（年率=1.36倍）
特に経済成長国での増加が顕著
2020年までには、すべてのデジタル情報の２９％が中国とインドで占められる、という予測。これは昨年の１０％から比較すると大きな成長であり、年成長率、1.522倍に相当する。国レベルでデジタル化が進むと、人口が多いため、絶対量が急激に成長する、という現れである、と言える。
2012年のデジタル宇宙の暗黒領域
この図は、2012年に存在する2837エクサバイトのデータの内、実際に役に立つべく分析が行われているのは１％にも満たない、という事を示している。
分析する事によって価値が出てくる様々なデータの種類を分類すると、
監視カメラや監視装置、等の記録情報：４４％
医療機器や内蔵機器等の情報：２０％
データ処理機器からのデータ（ログ等）：２５％
娯楽関係やソーシャルメィア：１０％
M2Mの領域に属するデータの量が非常に多く、分析もされず大量のデータが捨てられている、という状況が見える。
ビッグデータ技術に取っては、その機能を多いに発揮出来る分野である。
デジタル宇宙の情報は殆ど守られていない
2012年のデジタル情報は、その多くが守られておらず、悪用される危険性をはらんでいる。特に経済発展国でのデータが守られていないケースが多く、情報セキュリティの徹底が必要となっている。
2020年に於ける、カテゴリー別、情報セキュリティDigitalの分類
情報セキュリティ、といっても、保護をするべきレベルがいくつかあり、その情報の性格によって保護する手法を決める必要がある。全体の約半分がセキュリティを必要としている情報であり、その内訳は下記の通り：
プライバシーの保護を行う程度で十分な情報（YouTubeでのeメールアドレス等）＝１５％
コンプライアンス上、保護する事が法的に要求される情報（企業内のeメール等）＝５％
ID情報等、成り済まし犯罪に利用される可能性のある情報＝１２％
機密情報、顧客リスト、等、持ち主等が機密情報として守りたい情報＝６％
金融情報、需要な個人情報、医療情報、等非常に気密性の高い情報＝６％
クラウドで管理されるデジタル宇宙
こういった大量のデータに対して、クラウドコンピューティングは非常に経済的に、かつ有効なストレージソリューションを提供する、という事がデジタル宇宙のデータの補完先の推移を見てわかる。2020年までにはかなりの量のデジタル情報がクラウド上で管理される事になる、という予測である。
逆に、クラウドコンピューティングが無いと、こういった大量のデータの管理が事実上不可能になる、という事も言える。
クラウド上で管理されるデジタル情報の種類（2020年）
クラウド上で管理される情報の種類は、大量に保管出来る事だけではなく、多くは色んなデバイスからアクセス出来る、という利点も会って利用されるケースが多い。特に、エンターテイメント関連のデータ（映画、音楽、写真、等）は多くクラウド上で管理される事が今後多くなる事が予測されている。
また、地域別には、やはり総人口が絶対的に多い、中国、インド等での利用が非常に大きくなる事が予測されている。
これだけ、クラウド上での大規模データの管理/運用が多くなってくるとなると、それを管理/分析するデータベースエンジン、この場合はビッグデータ技術が中心になると考えられるが、さらにデータを利用するアプリケーションも、クラウド上で展開される方向になる事が多いに考えられる。これからのビッグデータのビジネスも、クラウド上で展開されるモデルが中心になる、という事が考えられるので、ビジネスもそのようなモデルで進める必要がある、と言える。
登録:
投稿 (Atom)