PolyBaseを使ったAzure SQL DWへの高速インポート～Azure Storageにデータをアップロードする～：Microsoft Azure SQL Data Warehouse を使ってみた(4)

1 PolyBaseの説明に入る前にインポートファイルを保存するAzure Storageを理解しよう

PolyBaseの説明に入る前にインポートファイルを保存するAzure Storageを理解しよう

前回、Microsoft Azure SQL Data Warehouse(以下、SQL DW)に対して、BCPコマンドによるインポート操作を行ったところ、非常に時間が掛かってしまったことや一部の全角文字によってインポートできない行が発生しました。今回は、Microsoftから新しく発表された「PolyBase」を使ってDBインポートする方法を連載でご紹介したいと思います。

PolyBaseとは

従来のSQL ServerなどのMicrosoftのDBに対してインポートを行う場合、BCPコマンドにてパソコン上のファイルをインポートすることが一般的でした。しかし、現在(2015.11.16時点)、SQL DWに対して、BCPコマンドを実行すると、オンプレSQL Serverで使えていたBCPコマンドの命令(オプション)が使えなくなっていたり、一部の全角文字の影響によってインポートエラーが発生する状況です。

その代わりに新しくリリースされたのが「PolyBase」です。PolyBaseは、Anure SQL Database、SQL Server 2016などのMicrosoftの新しいDBから実装されている機能で、DBからAzureのネットワークストレージ(インターネット上の共有ディスク)、またはHadoopに接続できる機能です。このPolyBaseを使うことで、SQL DWに対してデータをインポート、またはエクスポートを行うことができます。

(引用：PolyBase – MSDN – Microsoft)

今回は、AzureのネットワークストレージであるAzure StorageのデータをSQL DWにインポートする方法をご紹介します。

Azure Storageとは

Azure Storageは、Azureのネットワークストレージです。ネットワークストレージと言った場合、メジャーなサービスとしてAWSサービスのAmazon S3をイメージすると思いますが、Azure Storageは、Amazon S3のような機能もありますが、その他にも様々なサービスがあります。これから、簡単にAWSサービスと比較しながらAzure Storageをご紹介します。

Azure Storageのサービスの種類

Azure Storageには下記の5種類のサービスがあります。

Azure Blobs：ネットワークストレージ
Azure Tables：NoSQLなどのより保存・操作できるストレージ
Azure Queues：メッセージ送受信サービス
Azure Files：ファイル共有サービス
Premium Storage：Azure Virtual Machinesと連動してディスクIOを早くする機能

実際に全てのAzure Storageのサービスを使ったわけではありませんが、Azure BlobsはAmazon S3、Azure QueuesはAmazon Kinesis、Azure FilesはAmazon Elastic File Systemに相当するサービスのようです。

これらのサービスは単品で使用することができず、サービスを提供するためのブロックBLOB(記憶容量)などの機能の組み合わせた「アカウント(価格プラン)」から選択します。下記は現在(2015.11.16)の東日本にAzure Storageを構築した場合の月の請求見積もりですが、実際、どのサービスのどの機能がどれだけ使われるか分かりませんので、参考程度に考えた方が良いと思われます。

Azure StorageにAzure Storage Explorerでアップロード

Azure Storageにファイルをアップロードする方法は、アップロード専用コマンド、Visual Studio(開発ツール)などありますが、「Azure Storage Explorer」が比較的簡単にAzure Storageにアップロードできると思います。Azure Storageの接続方法は、Storage account nameにストレージアカウント名、Storage account keyにプライマリアクセスキーを設定するだけです。

ただし、Azure Storage Explorerは、Windows用しかありません。さらにVisual Studio 2015 Community(無償版)もWindows用しかありません。そのため、MacなどでAzure Storageにアップロードする場合は、Visual Studio 2015を購入するか、アップロード専用コマンドを使うしかなさそうです。