2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2014.02.06 09:05
ビッグデータ活用事例（7）R&D領域/会社を強くするビッグデータ活用
この連載では「会社を強くする ビッグデータ活用入門 -基本知識から分析の実践まで-」で取り上げたビッグデータやアナリティクスの活用事例を抜粋し、ご紹介していきます。 書籍の中では大きく2つの場合で事例を区分しており、合計8回にわたり、...
2014.04.10 12:19
Microsoft Power BI 活用レポート：Power Pivotを使ってみた② ~お手軽導入の”限界”~
「お手軽導入」の限界を知ろう 前回は”Power Pivotがどれくらい早いか”の検証を行いました。Power BI for Office 365 + Office 365 ProPlusのお手軽導入版でも、速度的には、弊社が実施している...
2014.07.23 08:52
”R”で実践する統計分析｜序：R（アール）とは？【外部寄稿】
Rの分析手法や使い方を連載形式でご紹介します（※外部寄稿） 本連載は、Yuu.Kimy氏にご寄稿頂いて、Rでの分析手法やその使い方について紹介していきます。初回である今記事は「Rの概要」について説明します。 「R（アール）」とは？ 数...
2015.01.02 09:02
第4回 分析結果と考えられる「打ち手」｜POSデータでマーケットバスケット分析の実践 with R
POSデータでマーケットバスケット分析をした結果を公開していきます 本連載では、4回にわたり、ある書店の実際のPOSデータをもとに、マーケットバスケット分析の事例をRで実装しながら紹介します。マーケットバスケット分析について紹介した本やW...
2015.01.28 08:59
第3回・フラットファイル(固定長フォーマット)｜CSV、XML、JSON…データフォーマットの変遷について考える
まずはじめはフラットフォーマットから 本連載の第1回はデータフォーマットの変遷を考える上で取り上げるデータの概要を説明しました。また第2回(前回)は、テキストデータ処理を考える上で必要となる「データを処理する際の共通的な取り決め」について...
RECOMMEND
SERVICE
