Tech & Science 2015.06.16 15:01 ”Talend”と”RapidMiner Studio”、2つのETLツールを比較してみた|Talend Open Studio によるビッグデータ分析(第1回) Talendはコンポーネント(機能)を追加、開発できる開発者好みのオープンソースETLツール データ分析するためには、データーベース(以下、DB)で取込める形に加工する必要があります。この加工には、高価なETLツールを使用するか、プログラ...
Tech & Science 2015.06.21 10:07 Talendで簡単なジョブの作成|Talend Open Studio によるビッグデータ分析(第3回) Windowsで出力されたCSVファイルをエンコード(UTF-8)してDBに取込める形に変換する 前回は、Talend Open Studio(以下、Talend)のインストールと初期設定を解説しましたは、今回は、一般的なWindowsの...
Tech & Science 2015.08.15 10:24 DB間のデータコピーを2つのコンポーネントだけで行う|Talend Open Studio によるビッグデータ分析(第6回) プログラミング不要!? TalendがあればSQL知識だけでDB間のデータコピーが行える 企業内でデータ分析システムを構築した場合、業務DBと分析DBを分け、夜間バッチなどでDB間のデータコピーを行うことは多いと思います。ORACLE D...
Tech & Science 2015.07.25 10:04 フィルタリングと文字列置換とプログラムによる変換方法|Talend Open Studio によるビッグデータ分析(第5回) フィルタリング(tFilterRow)と文字列置換(tReplace)とプログラムによる変換(tMap)を紹介 前回、Talendでフォルダ検索を行い、フォルダ中のファイルを1つのファイルに追記する方法までのジョブを作成しました。また、コ...
Tech & Science 2015.07.18 10:20 フォルダ中のファイルを変換して1つにまとめる|Talend Open Studio によるビッグデータ分析(第4回) フォルダ検索(tFileList)の結果からファイル読込(tFileInputDelimited)の連携の方法を紹介 前回、Talendで簡単なジョブを作成しましたが、そのジョブに手を加え、変換処理を行うまでの手順を2回に分けて連載したい...
Tech & Science 2015.08.29 09:36 Amazon Redshiftへのデータインポートを2つのコンポーネントだけで行う ~TOSからAWSを操作~|Talend Open Studio によるビッグデータ分析(第7回) tRedshiftOutputBulkExecコンポーネントを使用すれば、Amazon Redshiftのインポート処理を一括で行える Amazon Redshift(以下、Redshift)は、ビッグデータに特化したDBとして広く知られ...
Tech & Science 2015.09.19 10:18 Talendがバッチ処理の開発方法を変える ~スマートな開発を行おう~|Talend Open Studio によるビッグデータ分析(第8回) Talendを使えば、バッチ開発者は"プログラム"ではなく"処理手順"に注力すればよい 今まで7回に渡って、Talendの使い方について解説を行ってきました。その中でTalendは、ETLツールとして、非常に簡単に、かつ、柔軟にETLジョ...
Tech & Science 2015.10.01 08:50 Talendの無償版(TOS)と有償版(Enterprise)の違い|Talend Open Studio によるビッグデータ分析(第9回) 基本的なバッチ処理の開発なら無償版で十分。チーム開発や処理速度を求めるなら有償版が必要 今回まで様々なTalendの機能について、ご紹介してきました。これらの機能は、全て無償のTalend Open Studio(略称:TOS)のBig ...
Tech & Science 2015.11.06 08:45 TOSを使ってMicrosoft Azure SQL Data Warehouseを操作する|Talend Open Studio によるビッグデータ分析(第10回) JDBCドライバを直接指定することでAzure SQL Database/Azure SQL Data Warehouseに接続できる 前回までは、クラウド環境としてAWSを中心に説明してきました。AWSはクラウドシェアの1位ですが、Mi...
Tech & Science 2017.07.08 13:10 次のデータクレンジングのトレンドは”グリッドビュー”かもしれない ~ETLツールの新たなカタチを勝手に推測~ 先頭は Talend Data Preparation。それに追随する Google Cloud Dataprep と Tableau Project Maestro の登場でグリッドクレンジングツール戦線は激化する データ分析にとってデ...