Azure Data LakeがPublic Preview

PASS Summit 2015の発表を受けてか今日Azure Data LakeがPublic Previewになりました。またSQL Server 2016周りもUpdateがあります。

PASS Summit 2015のキーノートについてはSEの雑記を見れば安心ですね。

※ ほかにもAzure SQL Database In-Memory OLTP and Operational AnalyticsなどもPublic Previewになっています。


Azure Data Lake (Public Preview)

これまで1つと思ってたサービスとしての実態は2つありました(ブランド?としてはData Lakeですが)。Azure Data Lake Analytics と Azure Data Lake Store の2つです。どちらも今日からPublic Previewです。(現状East US2でしか利用できません)

それぞれざっくり見ていきましょう。

Data Lake Analytics (Public Preview)

Data Lake Analyticsはそのまんま書くと動的にコードをスケールできる分散BigDataサービスという感じです。Apache YARNをベースに構築されたクラウド用に設計されたData Lake用の分析サービスです。Azure ADによるロール管理などもサポートしてるのでオンプレのIDと連携して権限コントロールをシンプルに統合できそうです。

課金は料金を見てもらうのが良いですが、Analytics Unit (AU) が分あたり1.74円(Preview価格で50%オフ)、完了したジョブあたり2.55円(Preview価格で50%オフ)のようです。現状の制限としては1AUあたり50ジョブまで、アカウントあたりの同時実行ジョブが3ジョブまでのようです。

さて本題。Data Lake AnalyticsはData Lake Storeや他のデータソース(BlobやSQL Databaseなど)も参照することができそうです(ドキュメントが404でまだちゃんと見れてませんが)

Data Lake Analyticsの本領は各データソースに接続してクエリを基にデータの分析を行うところにあります。この際、使用するクエリ言語がU-SQLになります。

U-SQLはSQL Serverなどで使っているSQLにC# Expressionなどが扱えるように拡張されたものになります。
複数のデータソースをまとめたりデータを加工するのにC#の機能が使えます。(SplitしたりLINQでWhereしたり)

U-SQLでクエリをゴリゴリ書いた後はそれをジョブとして登録します。
Azure Data Lake Analytics process flow diagram

またVisual Studio用のSDKもあるのでビジュアル的にデータの塊を見ることができます。

ざっくりな流れはこんな感じです。詳しくはドキュメントを参照。

Data Lake Store (Public Preview)

Data Lake Storeはペタバイト級のデータを保存するハイパースケールなデータストアです。ある意味スキーマレスでデータの種別やサイズを意識せずに保存できます。またHDInsightクラスターで使用可能なWebHDFS互換のREST APIを持っているのでHadoopからアクセスしたりできます。もちろんData Lake Analyticsも。
Azure Data Lake

価格的には1GBあたり4.08円/月で+トランザクション100万あたり7.14円となります。(Preview価格なので50%オフ)

細かな機能でいえばAzure ADと連携できるので認証、アクセスコントロールが容易なこともあります。またHDInsight上で動作するApache StormやHBaseといったオープンソースなアプリケーションと統合的に利用することができます。

Data Lake File Systemへのアクセス用プロトコルとしてadl:// が用意されてます。HDInsightクラスター内のHadoop等で利用できます。内部から触る場合はWebHDFSを介さないでいい感じですかね?

という感じで詳細はドキュメントをどうぞ。

作り方

Preview ポータルから新規作成でData+Storage、Data+AnalyticsにそれぞれData Lake StoreとData Lake Analyticsがありますのでそこから作成します。(Azure PowerShellからも作成可能です)

ただ、現状は最初にPreviewの規約にサブスクリプション単位でサインアップ(同意)し、承認させる必要がありますので注意ください。
image

※Pendingになったので今日はここまで。

リンクなど

Where can I get more information?

Documentation and How-To’s

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中