ETLとは、複数のシステムからデータを取り出し、使いやすい形に変換して、データウェアハウスなどに書き込む一連の処理のことです。ETLは、Extract(抽出)、Transform(変換)、Load(書き込み)の頭文字です。システムごとに形式のばらばらなデータを、そのまま合わせても集計できません。ETLで形をそろえてから、ひとつの場所に集めます。
ETLは、何のためにあるのか?
システムごとに形式や書き方の違うデータを、そろえて一か所に集めるためです。手作業でのコピーや集計をなくし、決まった時間に自動で最新のデータを用意できます。
ETLでは、どんな処理をするのか?
データを取り出す抽出、形をそろえる変換、保管先に書き込む書き込み、の3つの処理を順に行います。
抽出(Extract)
CRMや基幹システム、SaaS、表計算ソフトなどから、必要なデータを取り出します。
変換(Transform)
日付や金額の書き方をそろえ、重複や表記のゆれをなくし、複数のデータを結び付けます。
書き込み(Load)
整えたデータを、データウェアハウスなどの保管先に書き込みます。
ETLとELTは、どう違うのか?
ETLは変換してから書き込み、ELTは先に書き込んでから保管先の中で変換します。処理の速いクラウドのDWHが広まったことで、ELTを選ぶ場面も増えています。
| 比べる点 | ETL | ELT |
|---|---|---|
| 処理の順番 | 抽出 → 変換 → 書き込み | 抽出 → 書き込み → 変換 |
| 変換する場所 | 保管先に入れる前 | 保管先(DWH)の中 |
| 元のデータ | 変換後のデータだけが残ることが多い | 加工前のデータも残せる |
| 向いている場面 | 入れる前に形を厳しくそろえたい場合 | 大量のデータを、あとから目的に合わせて使い分けたい場合 |
ETLを運用するときの注意点は?
元のデータの品質、処理が止まったときの検知、元のシステムの変更への対応の3つに気をつける必要があります。
- 元のデータの品質
- 入力のミスや抜けが多いと、変換で直しきれません。入力のルールを元のシステムの側でそろえます。
- 処理が止まったときの検知
- 処理が止まると、古いデータのまま集計されます。止まったら担当者に知らせる仕組みを用意します。
- 元のシステムの変更への対応
- 元のシステムの項目が変わると、ETLも直す必要があります。変更の予定を共有する体制をつくっておきます。
トラックファームでは、ETLをどう扱っているか?
ETLは、4つのサービスレイヤーのうち2つめのCRM/SFA・データ基盤の中で、データを集める仕組みとして設計・開発します。つなぐシステムの数やデータの整備状況によって、費用と期間が変わるため、最初に対象のシステムとデータを整理します。
よくある質問
ETLツールを使わずに、データを集めることはできますか?
できます。表計算ソフトでの手作業や、簡単なプログラムでも集められます。ただ、対象のシステムやデータの量が増えると手間とミスが増えるため、定期的に行うならETLの仕組みにするのがおすすめです。
ETLとAPI連携は、何が違いますか?
APIは、システム同士がデータや機能をやり取りするための窓口です。ETLは、APIなどを使ってデータを取り出し、形をそろえて保管先に集める一連の処理を指します。ETLの抽出で、APIを使うことも多くあります。
