Tech & Science 2015.01.09 09:06 第1回 進化するフォーマット|CSV、XML、JSON…データフォーマットの変遷について考える CSV、XML、JSON…、データフォーマットも進化している 我々Gixoではいろいろなデータの分析や加工処理を行っています。私も日々データと格闘しているわけですが、私が学生のころと比べるとITをとりまくいろいろな事が進化していると感じま...
Tech & Science 2015.01.20 09:10 第2回・テキストデータ処理における取り決め|CSV、XML、JSON…データフォーマットの変遷について考える データ処理には共通的な取り決めがある 前回はデータフォーマットの変遷を振り返っていく上で、取り上げるデータの概要を説明しました。今回はそれらの変遷や特徴を考える上で前提として知っておいたほうがよい「データを処理する際の共通的な取り決め」に...
Tech & Science 2015.01.28 08:59 第3回・フラットファイル(固定長フォーマット)|CSV、XML、JSON…データフォーマットの変遷について考える まずはじめはフラットフォーマットから 本連載の第1回はデータフォーマットの変遷を考える上で取り上げるデータの概要を説明しました。また第2回(前回)は、テキストデータ処理を考える上で必要となる「データを処理する際の共通的な取り決め」について...
Tech & Science 2015.02.06 09:02 第4回・CSVファイル|CSV、XML、JSON…データフォーマットの変遷について考える フォーマット解説の第二弾はおなじみCSVフォーマットです 前回(第3回)は、各フォーマットを説明していく第一弾として「フラットフォーマット」について説明しました。今回は第二弾としてCSVフォーマットについて説明します。これまでの記事と同様...
Tech & Science 2015.02.13 13:10 第5回・XMLファイル|CSV、XML、JSON…データフォーマットの変遷について考える フォーマット解説の第三弾はXMLフォーマットです 前回(第4回)は、各フォーマットを説明していく第二弾としてみなさんもよくご存知のCSVフォーマットについて説明しました。今回は第三弾としてXMLフォーマットについて説明します。XMLはイン...
Tech & Science 2015.02.27 08:51 第7回(最終回):何が良いかはケースバイケースだ!|CSV、XML、JSON…データフォーマットの変遷について考える テキストフォーマット比較・最終回は独断と偏見のまとめです 前回(第6回)は、各フォーマット説明の最後としてJSONフォーマットについて説明しました。今回は本連載の最終回として、これらのまとめを説明します。フォーマット同士の比較や各々のメリ...
Tech & Science 2015.04.17 09:15 文字コードや文字化けを理解しよう(その2)|いまさら訊けないビッグデータ分析 第2回は「文字化けあるある」です。 前回は文字コード関する基本的な知識をまとめてみました。第2回の今回は「じゃあ文字化けはどういった場合に起こるの?」という場面についてパターン分けして説明していきたいと思います。皆さんも心当たりがあったら...
Tech & Science 2015.04.03 09:08 カラムナー、キューブ、インメモリ…ビックデータ分析におけるデータベースのまとめ|いまさら訊けないビッグデータ分析 データベースの「タイプ」を知ってますか? こんにちは、ギックス技術チームの岩谷です。 先日とある方より「ビッグデータ分析処理で、Tableauはキューブを作成しないからシステムの運用がしやすいって聞いたんだけど、どういう事なのかな?...
Tech & Science 2015.03.31 08:52 「データマート」と「キューブ」の違いとは?|いまさら訊けないビッグデータ分析 データマートとキューブの違いって? こんにちは、ギックス技術チームの岩谷です。 先日とある方より「データマートとキューブの違いって?」という質問をいただきました。この手の質問を時折耳にしますので、この場を借りて、ちょっと解説させてく...
Tech & Science 2015.06.13 09:50 データレイクはビッグデータのストレージ:データウェアハウス(DWH)やデータマートへの取込口です データレイク(Data Lake)はファイル置き場 こんにちは、技術チームの岩谷です。先日とある方より「このごろデータレイクって言葉をよく聞くけど、"Data Lake→データの湖"ってどういう事?」という質問をいただきました。この場を借...