2017.12.25 12:07
Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～
Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジュー...
2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.02.23 09:01
ビッグデータ分析の基礎から応用まで、実践的なノウハウ集！
ギックスの考えるビッグデータ分析のあり方 ギックスで実施しているビッグデータ分析の「具体的な実践例」を皆さんにご提供することで、従来の”大規模システム投資”を前提としたビッグデータ分析から脱却し、現業部門（＝企画部門）が「システム部門に頼...
2015.01.07 09:05
2014年全6.6万打席の紹介｜プロ野球データでクロス集計 with Tableau 第1回
2014年のプロ野球全打席データをクロス集計していきます 我々ギックスは、データ分析において「加工されていない生データを手元に持ちましょう」「複雑なモデルを作らなくてもクロス集計で十分なケースが多いです」「仮説を検証するための人間の頭で考...
2015.04.22 09:12
クロスプラットフォームアプリ開発の落とし穴｜スマホアプリ開発を考える（第3回）
クロスプラットフォームも万能ではない！知られざる落とし穴を解説。 前回は、Webアプリ開発者をスキルチェンジさせて、健全な開発方法として、クロスプラットフォームを紹介しました。今回は、私が開発者として経験した、クロスプラットフォームのデメ...
2015.05.15 09:07
Power BI DesignerからAmazon Redshiftに接続する | ブラウザで動く新Power BIを使ってみた
Power BI Designerを使用して直接データベースからデータ取得する 前回、Power BI Designer(Preview版)からAmazon RDS(Postgre SQL)への接続を試みましたが、データ取得に失敗しました...
2015.07.29 08:21
Power BIのラインアップは「デスクトップ」「ブラウザ」「スマホアプリ」の3種類｜新バージョン Power BI の紹介
データ分析基盤と分析結果共有基盤を手軽に構築できる こんにちは、分析チームの萩原です。 ギックスが以前から「安くて、早くて、易しいツール」の一つとして注目している分析ツール「Microsoft Power BI」の新バージョンがリリ...
RECOMMEND
SERVICE
