2018.01.30 22:33
Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～
Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメント...
2018.02.07 14:56
Apache Airflow でタスクスケジューリングしてみた ～タスク開発のポイント～
Airflowのタスク処理はPythonで開発すると便利 前回までは簡単なジョブ処理の作成・実行まででしたが、今回はちょっと応用編です。そのため、Pythonの基礎的なスキルが必要になりますが、Pythonを使うことで「やれること」も多くな...
2018.02.24 13:36
Apache Airflow でタスクスケジューリングしてみた ～ログを退避させる～
外部データベースに切り替えて負荷分散とリスク回避を行う 前回までは実際に開発した経験からAirflowのジョブ作成について説明しました。暫くしてから運用関係のご報告を...っと考えていたのですが、本番稼働してまだ1ヵ月ちょっとですが早くも...
2020.02.10 09:06
Cloud Composer と GKE を活用して機械学習のワークフローを構築する
GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 ...
2020.04.13 08:07
機械学習基盤における Cloud Dataflow の活用
Cloud Dataflow の使い所 Cloud Dataflow は GCP で提供されているサービスの一つで、フルマネージドな環境で ETL 処理を実行することができます。バッチ処理とストリーミング処理を統一的に扱うことのでき...
2015.02.04 09:04
Rでの決定木の実装｜プロ野球データで決定木(Decision Tree) with R 第3回
プロ野球データで決定木を行った結果を公開していきます 本連載では、3回にわたり、プロ野球のデータで実際に決定木を行った事例を紹介していきます。第3回目の今回は、実践編として、Rを用いた決定木の実装について説明しています。 Rでの決定木の...
2015.02.13 13:10
第5回・XMLファイル｜CSV、XML、JSON…データフォーマットの変遷について考える
フォーマット解説の第三弾はXMLフォーマットです 前回(第4回)は、各フォーマットを説明していく第二弾としてみなさんもよくご存知のCSVフォーマットについて説明しました。今回は第三弾としてXMLフォーマットについて説明します。XMLはイン...
2015.05.21 09:01
「フルマネージド」クラウドサービス～第三回・実例1「Tableau Online」～
フルマネージドのアプリケーションサービス。今回は「Tableau Online」を紹介します 本連載は全五回で「フルマネージド(Fully Managed)のクラウドサービス」について書かせていただいています。前回はフルマネージドサービス...
2015.09.14 16:26
P2P(ピアツーピア)とは？｜IoT時代で脚光をあびるスマホ同士の直接通信
LINEやSkypeはP2Pによって支えられている こんにちは、技術チームの岩谷です。先日とある方より「P2P(ピアツーピア)って何？いろいろなプロダクトに"P2P対応製品"って書いてあるんだけど？」という質問をいただきました。今回はこの...
2017.04.24 15:26
Amazon Redshift Spectrum を使ってみた ～Redshift Spectrum は Redshift のデータレイクの入り口になる～
Amazon Redshift Spectrum によってデータ分析の業務フローが変わる 先日、サンフランシスコで開催された AWS Summit 2017(2017.4.18 - 19)で Amazon Redshift(以下、Reds...
RECOMMEND
SERVICE
