Tech & Science 2017.06.12 08:35 データレイクとクラウドサービス ~②クラウドサービスが支えるこれからのデータレイク~ クラウドサービス進化によってデータレイクの運命が決まる 前回、データレイクとはどういうものか、データベースと何が違うかについて触れました。今回はクラウドサービスがデータレイクにどの様に影響しているか、そして、今後、データレイクはどの様に変...
Tech & Science 2017.02.08 09:02 Amazon Athena の分析サービスとしての位置付けについて考えてみる Amazon Athena は Google BigQuery と MS PolyBase を足して2で割ったようなサービス 昨年末、Amazon Web Services(以下、AWS)が主催したAWS re:Invent 2016から...
Tech & Science 2017.07.01 06:28 データレイクとクラウドサービス ~③クラウドストレージの賢い管理方法~ データレイクサービスを賢く安く使うポイント 前回の連載ではクラウドサービス上のデータレイクサービスについてご説明しました。その中でデータレイクサービスはデータベースサービスのように起動時間による課金が発生しない分、データ参照時の参照先のデ...
Tech & Science 2015.06.13 09:50 データレイクはビッグデータのストレージ:データウェアハウス(DWH)やデータマートへの取込口です データレイク(Data Lake)はファイル置き場 こんにちは、技術チームの岩谷です。先日とある方より「このごろデータレイクって言葉をよく聞くけど、"Data Lake→データの湖"ってどういう事?」という質問をいただきました。この場を借...
Tech & Science 2015.06.17 14:58 「データレイク」のコンセプトを理解しよう|Treasure Data(トレジャーデータ)は、まさにデータレイクだ データレイクは登場したばかり。既存のサービスと比べて理解を深めよう! こんにちは、技術チームの岩谷です。前回、データレイクについての記事を執筆させていただきましたところ、何人かの方々から「それならデータレイクはトレジャーデータのソリューシ...
Tech & Science 2017.04.24 15:26 Amazon Redshift Spectrum を使ってみた ~Redshift Spectrum は Redshift のデータレイクの入り口になる~ Amazon Redshift Spectrum によってデータ分析の業務フローが変わる 先日、サンフランシスコで開催された AWS Summit 2017(2017.4.18 - 19)で Amazon Redshift(以下、Reds...
Tech & Science 2017.06.19 08:43 ETL処理とELT処理の違い ~ビッグデータ処理の新トレンド~ ELT処理はクラウドデータベースだから可能になった荒業 皆さんは「ELT処理」をご存知でしょうか? 決して「Every Little Thing」ではありません。 ELT処理は、ETL(Extract/Transform/Load)...
Tech & Science 2017.07.08 13:10 次のデータクレンジングのトレンドは”グリッドビュー”かもしれない ~ETLツールの新たなカタチを勝手に推測~ 先頭は Talend Data Preparation。それに追随する Google Cloud Dataprep と Tableau Project Maestro の登場でグリッドクレンジングツール戦線は激化する データ分析にとってデ...
Tech & Science 2017.12.05 11:52 Redshiftの弱点をRDSとRedshift Spectrumでカバーする ~SQL命令だけでデータ分析ができる環境を考える~ RDSの機能を使えばRedshiftのデータを使用したGIS環境も構築できる クラウド上のデータベース(クラウドデータベース)は、非常に高性能、かつ安定していながら、費用的や技術的にも容易に環境構築することが可能です。しかし、これらの利点...
Tech & Science 2014.01.20 08:04 Quick Startのための分析インフラとは|ギックスのビッグデータ分析体系 ⑨ ビッグデータを分析するためのインフラ ここまで8回にわたってギックスのビッグデータ分析体系について説明してきました。今回が本連載の最終回となります。本日は「分析インフラ」についてご紹介します。ビックデータ分析体系の中では以下の赤枠の部分に...