Google Cloud と AWS の印象の違いについて雑感

この記事は GiXo アドベントカレンダー の 8 日目の記事です。昨日は、 データ受領で気を付けるポイント でした。 Data-Informed 事業本部 Technology Div. の川田です。私は今年 GiXo に中途入社...

Amazon Athena と Redshift Spectrum をParquet形式にファイル変換してレスポンスとコストを改善する

PythonプログラミングだけでParquet形式にファイル変換 AWS（Amazon Web Services）にはクラウドストレージの Amazon S3 に溜まったデータファイルをSQL命令で参照できるデータレイクサービスとして、Am...

3大クラウドサービスの無料利用枠を比較 ～試用上の注意をよく読み、使用量・時間を守って正しくお使い下さい～

スマホの料金体系並みの分かりにくいクラウドサービスの無料利用枠 クラウドサービスはインターネットの繋がる環境から直ぐに開始できます。そして、クラウドサービスの試用するために無料利用枠が決まっているのですが、専門用語が多く、ちょっと初心者には...

Redshiftの弱点をRDSとRedshift Spectrumでカバーする ～SQL命令だけでデータ分析ができる環境を考える～

RDSの機能を使えばRedshiftのデータを使用したGIS環境も構築できる クラウド上のデータベース（クラウドデータベース）は、非常に高性能、かつ安定していながら、費用的や技術的にも容易に環境構築することが可能です。しかし、これらの利点...

AWS Glue を使ってみた ～ETLツールではなくETL支援サービスとしての役割～

AWS Glue がフルマージドしているのはETLのプロセスではなく動作環境 データ分析ではデータベースを使うことが多く、そのデータベースにデータを入れるためにはETL処理は必要不可欠な処理です。ETL処理をフルスクラッチでプログラミング...

Amazon Redshift Spectrum を使ってみた ～Redshift Spectrum は Redshift のデータレイクの入り口になる～

Amazon Redshift Spectrum によってデータ分析の業務フローが変わる 先日、サンフランシスコで開催された AWS Summit 2017(2017.4.18 - 19)で Amazon Redshift(以下、Reds...

クラウドサーバー Amazon EC2 を起動するだけのリアルボタンを作ってみた ～仮想と現実の新たな接点～

「ネットワークに繋がるボタン」という新たなデバイスの可能性 クラウドサービスはインターネット上に存在します。これらのサービスを利用するためには、通常、パソコンやスマホからブラウザや専用アプリからアクセスします。接続可能なネットワーク上であ...

Amazon EBSエラスティックボリュームによってクラウドサーバーの自由度と稼働率が飛躍的に向上する

エラスティックボリュームによってAmazon EC2の起動中にストレスなく記憶容量を増やせる Amazon Web Services(以下、AWS)には、クラウドサーバーとしてAmazon Elastic Compute Cloud(以下...

Amazon Athena の分析サービスとしての位置付けについて考えてみる

Amazon Athena は Google BigQuery と MS PolyBase を足して2で割ったようなサービス 昨年末、Amazon Web Services(以下、AWS)が主催したAWS re:Invent 2016から...

第3回：クラウドサービスのシステムリリースの早さと安さの秘密｜経営者のためのクラウド講座

クラウドサービスによって「システム構築の苦しみ」から「システムを組み合わせる自由」に変わる 前回はクラウドサービスの課金体系・支払方法について、ポイントを絞って説明しました。この記事でクラウドサービスは「買い切り」ではなく「借りる」という...