2015.02.06 09:02
第4回・CSVファイル｜CSV、XML、JSON…データフォーマットの変遷について考える
フォーマット解説の第二弾はおなじみCSVフォーマットです 前回(第3回)は、各フォーマットを説明していく第一弾として「フラットフォーマット」について説明しました。今回は第二弾としてCSVフォーマットについて説明します。これまでの記事と同様...
2015.04.17 09:15
文字コードや文字化けを理解しよう(その2)|いまさら訊けないビッグデータ分析
第2回は「文字化けあるある」です。 前回は文字コード関する基本的な知識をまとめてみました。第2回の今回は「じゃあ文字化けはどういった場合に起こるの？」という場面についてパターン分けして説明していきたいと思います。皆さんも心当たりがあったら...
2015.08.15 10:24
DB間のデータコピーを2つのコンポーネントだけで行う｜Talend Open Studio によるビッグデータ分析(第6回)
プログラミング不要！？ TalendがあればSQL知識だけでDB間のデータコピーが行える 企業内でデータ分析システムを構築した場合、業務DBと分析DBを分け、夜間バッチなどでDB間のデータコピーを行うことは多いと思います。ORACLE D...
2015.11.06 08:45
TOSを使ってMicrosoft Azure SQL Data Warehouseを操作する｜Talend Open Studio によるビッグデータ分析(第10回)
JDBCドライバを直接指定することでAzure SQL Database/Azure SQL Data Warehouseに接続できる 前回までは、クラウド環境としてAWSを中心に説明してきました。AWSはクラウドシェアの1位ですが、Mi...
2017.06.19 08:43
ETL処理とELT処理の違い ～ビッグデータ処理の新トレンド～
ELT処理はクラウドデータベースだから可能になった荒業 皆さんは「ELT処理」をご存知でしょうか？ 決して「Every Little Thing」ではありません。 ELT処理は、ETL(Extract/Transform/Load)...
2020.12.03 08:52
Technology Div. 紹介
この記事は GiXo アドベントカレンダー の 3 日目の記事です。昨日はMLOps Div. の紹介でした。 本記事では、私がリードをしておりますTechnology Div.の紹介をさせて頂きます。Technogy Div.誕生...
2020.12.18 08:12
SHAP Values で 機械学習を「解釈」する
この記事は GiXo アドベントカレンダー の 18 日目の記事です。昨日は、クラウドデータ基盤をTerraformを使ってIaC化 & 量産する でした。 MLOps Div. の濱田です。近年、機械学習は目覚ま...
2020.12.16 08:22
Firestore のデータを TypeScript と Security Rules で安全に扱う話
この記事は GiXo アドベントカレンダー の 16 日目の記事です。昨日は、TableauのLOD表現で注意すべきことでした。 MLOps Div. の堀越です。突然ですがみなさん Firestore は好きですか？私は好きです。...
2021.12.10 08:38
非エンジニアばかりの分析チームで1年間 Dataform を運用してみた
この記事は GiXo アドベントカレンダー の 10 日目の記事です。昨日は、GiXoの成長を支える制度についてでした。 Design & Science Div. の堀川です。Design & Science Di...
2021.12.21 08:55
Deno で大きなプルリクエストを未然に防ぐための CLI を作った
この記事は GiXo アドベントカレンダー の21日目の記事です。 昨日は「マイグル チーム構成の紹介」でした。 Technology Div. の堀越です。今年の Advent Calendar も本記事を含め残すところあと5記事...
RECOMMEND
SERVICE
