Redshiftの弱点をRDSとRedshift Spectrumでカバーする ～SQL命令だけでデータ分析ができる環境を考える～

RDSの機能を使えばRedshiftのデータを使用したGIS環境も構築できる クラウド上のデータベース（クラウドデータベース）は、非常に高性能、かつ安定していながら、費用的や技術的にも容易に環境構築することが可能です。しかし、これらの利点...

AWS Glue を使ってみた ～ETLツールではなくETL支援サービスとしての役割～

AWS Glue がフルマージドしているのはETLのプロセスではなく動作環境 データ分析ではデータベースを使うことが多く、そのデータベースにデータを入れるためにはETL処理は必要不可欠な処理です。ETL処理をフルスクラッチでプログラミング...

Amazon Redshift Spectrum を使ってみた ～Redshift Spectrum は Redshift のデータレイクの入り口になる～

Amazon Redshift Spectrum によってデータ分析の業務フローが変わる 先日、サンフランシスコで開催された AWS Summit 2017(2017.4.18 - 19)で Amazon Redshift(以下、Reds...

Amazon EBSエラスティックボリュームによってクラウドサーバーの自由度と稼働率が飛躍的に向上する

エラスティックボリュームによってAmazon EC2の起動中にストレスなく記憶容量を増やせる Amazon Web Services(以下、AWS)には、クラウドサーバーとしてAmazon Elastic Compute Cloud(以下...

Amazon Athena の分析サービスとしての位置付けについて考えてみる

Amazon Athena は Google BigQuery と MS PolyBase を足して2で割ったようなサービス 昨年末、Amazon Web Services(以下、AWS)が主催したAWS re:Invent 2016から...

Redshiftのインポート／エクスポート権限をIAMロールに変更する｜AWSを使い倒せ

DBユーザーとIAMユーザーの権限を分けることでセキュリティ強化を行う AWSのビッグデータ用DBのAmazon Redshift(以下、Redshift)に大量データを登録する場合は、クラウドストレージのAmazon S3(以下、S3)...

AWS DMS を使ってみた(2) ～データ同期を徹底検証。同期には”ログ”の設定が必須！～｜AWSを使い倒せ

AWS DMSはテーブルのデータ追加／削除／変更、そしてテーブル作成までデータ同期できる 以前は、AWS DMS(Database Migration Service)のタスクを作成して、移行元データベース(DB)のMy SQLから移行先...

AWS DMS を使ってみた(1) ～手軽にMy SQLからRDS(Postgre SQL)にDB移行する～｜AWSを使い倒せ

AWS DMS を使えばテーブル作成なしで異なるDB種類へのクラウド移行が行える 近年、AWS(Amazon Web Services)やMicrosoft Azureなどのクラウドサービスが進歩してきたことで、新規システムの導入先として...

AWS Database Migration Service によってDBの乗り換えが加速する｜ AWS re:Invent 2015 新サービス

DMS(Database Migration Service)はDB移行以外に使える魔法のサービスかも？ 米国時間の10/6～10/9に開催されましたAWS最大のイベント「re:Invent 2015」で様々な情報が発表されました。その中...

re:Inventの歩き方 その3:イベントの楽しみ方 ~海外旅行レベル1の技術者によるAWS re:Invent 2015 参加レポート~

re:InventはAWSの祭りだ！ 毎晩、酒が飲めるぞ！！ 米国時間の10/6～10/9の4日間、ラスベガスでAWS社主催のグローバル・カンファレンス「AWS re:Invent 2015」が開催されました。そこに、海外旅行3回目、英会...