Tech & Science 2015.11.04 08:24 データアレンジメントがビッグデータ時代の新潮流になる。|データクレンジングの限界を越えよう データを深掘るならデータアレンジメントのスキルが必要!! 「ビッグデータ」という言葉が一般的に使われるようになった近年、今まで分析できなかったデータウェアハウス(DWH)上の1TBを超えるような大量データもクラウドデータベースなどによって...
Tech & Science 2017.06.19 08:43 ETL処理とELT処理の違い ~ビッグデータ処理の新トレンド~ ELT処理はクラウドデータベースだから可能になった荒業 皆さんは「ELT処理」をご存知でしょうか? 決して「Every Little Thing」ではありません。 ELT処理は、ETL(Extract/Transform/Load)...
Tech & Science 2013.12.16 13:13 2次属性を理解しよう|ギックスのビッグデータ分析体系 ④ ギックスならではの分析プロセス 「2次属性の作成」 前回は分析プロセスの最初の段階となる「ビジネスの理解」と「データの理解・準備」のプロセスについてご説明しました。今回は、いよいよギックスデータ分析体系ならではの分析プロセスであたる「2次...
Tech & Science 2013.12.23 13:08 クロス集計で「セグメント間の違い」を見出せ|ギックスのビッグデータ分析体系 ⑤ セグメントの特徴把握 前回はギックスならではの分析プロセス「2次属性の作成」について説明しました。今回はその付けられた2次属性を利用して、2次属性がついた人や製品の特徴を知るというプロセス、「セグメントの特徴把握」について紹介します。ギッ...
Tech & Science 2014.03.23 11:01 べき分布のデータには注意しよう|ビッグデータ分析の留意点④ 購買系のビッグデータには「べき分布」が多く注意が必要 (第2回)と(第3回)で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。 注意点①:サンプルデータは中...
Tech & Science 2014.04.03 12:08 Microsoft Power BI 活用レポート:Power Pivotを使ってみた① ~データ処理速度は「実用に耐える」~ Power Pivot の「処理速度」は実用レベルとしては十分 ギックスでは、従来より「Aktblitz(アクトブリッツ)」という高速データ処理ソフトウェアを活用しています。今回は、こちらと比較しながら、処理性能について考察を進めていきま...
Tech & Science 2015.02.23 09:03 第5回 STEP2 データの格納・確認・前処理|POSデータで事業構造分析 with Power BI Power BIで実践するPOSデータの事業構造分析を公開 この連載では、2013年11月に弊社CEOの網野が出版した「会社を強くするビッグデータ分析」「Part2 分析の実践」の部分を「Power BIでPOSデータを使って事業構造分析...
Tech & Science 2015.03.11 08:52 グループによる2次属性づけ|プロ野球データでクロス集計with Tableau 第9回 2014年のプロ野球全打席データをクロス集計していきます 2014年のプロ野球の打席データを全量(約6.6万件)手元に置き、さまざまな切り口でクロス集計して、プロ野球全体の打席の傾向を見ていく「プロ野球データでクロス集計 with Tab...
Tech & Science 2015.06.18 14:50 Amazon Redshiftを利用料金そのままでds1.xlarge(旧:dw1.xlarge)からds2.xlargeにアップグレードしてみた|AWSを使い倒せ ds2.xlargeは、従来のCPU性能、メモリ容量が2倍、I/Oが1.5倍!なのにお値段そのまま!! 先日(2015/6/9)、AmazonよりRedshiftの新しいインスタンスタイプ「DS2」が発表されました。DS2インスタンスは、...
Tech & Science 2017.04.24 15:26 Amazon Redshift Spectrum を使ってみた ~Redshift Spectrum は Redshift のデータレイクの入り口になる~ Amazon Redshift Spectrum によってデータ分析の業務フローが変わる 先日、サンフランシスコで開催された AWS Summit 2017(2017.4.18 - 19)で Amazon Redshift(以下、Reds...