この記事は GiXo アドベントカレンダー の 13 日目の記事です。昨日は、pandas でヘッダーが複数ある POS データを縦持ち横持ち変換する（後編）でした。 Technology Div. の柳です。ロ...
AWS Glue がフルマージドしているのはETLのプロセスではなく動作環境 データ分析ではデータベースを使うことが多く、そのデータベースにデータを入れるためにはETL処理は必要不可欠な処理です。ETL処理をフルスクラッチでプログラミング...
先頭は Talend Data Preparation。それに追随する Google Cloud Dataprep と Tableau Project Maestro の登場でグリッドクレンジングツール戦線は激化する データ分析にとってデ...
TOSを使えば非構造化データから構造化データへの変換が容易 弊社で Talend Open Studio (以下、TOS) を本格導入してから1年半。現在はETL処理の「Transform(変換・加工)」処理にはなくてはならない存在になっ...
Talend社はGartner社のマジック・クアドラントでデータ統合のリーダーに選ばれる企業 クラウドサービスやビッグデータ分析などの業界では、オープンソースコミュニティなどの非営利団体はありますが、各分野をリードする企業の存在は必要不可...
手間がかかるテストデータもTOSを使えばノープログラミングで作成できる データ分析業務は、分析対象データが無いと始めることにはできません。しかし、提案段階でクライアントに分析結果イメージを提示する場合、または、分析対象データを受領してから...
JDBCドライバを直接指定することでAzure SQL Database/Azure SQL Data Warehouseに接続できる 前回までは、クラウド環境としてAWSを中心に説明してきました。AWSはクラウドシェアの1位ですが、Mi...
基本的なバッチ処理の開発なら無償版で十分。チーム開発や処理速度を求めるなら有償版が必要 今回まで様々なTalendの機能について、ご紹介してきました。これらの機能は、全て無償のTalend Open Studio(略称：TOS)のBig ...
Talendを使えば、バッチ開発者は"プログラム"ではなく"処理手順"に注力すればよい 今まで7回に渡って、Talendの使い方について解説を行ってきました。その中でTalendは、ETLツールとして、非常に簡単に、かつ、柔軟にETLジョ...
tRedshiftOutputBulkExecコンポーネントを使用すれば、Amazon Redshiftのインポート処理を一括で行える Amazon Redshift(以下、Redshift)は、ビッグデータに特化したDBとして広く知られ...
