ETLとELTの違い|データを加工するのは「入れる前」か「入れた後」か

一言でいうと

ETLとELTは、データを集めて、使える形に整えるまでの「順番」の違いです。

たとえ話:食材の下ごしらえ

買ってきた食材を、冷蔵庫にしまう場面を考えてみてください。

• ETL:買ってきたその場で、洗って、切って、小分けにしてから、冷蔵庫に入れる
• ELT:買ってきた食材を、そのまま冷蔵庫に入れておき、料理する時に、洗って切る

ETLは、使う時にすぐ使える状態でしまえます。ELTは、元の食材が残っているので、あとから、別の料理にも使えます。どちらが良いかは、冷蔵庫の大きさや、料理の頻度によって変わります。

それぞれの特徴

なぜELTが選ばれるようになったのか

背景には、クラウド上のデータ基盤の変化があります。保存できる量を増やしやすくなり、格納先の処理能力も高まったため、**「まず全部入れて、必要な時に、格納先の力で加工する」**という方法が、現実的になりました。

元のデータが残るので、加工のルールを変えたくなった時に、やり直しやすいのも、利点です(データレイクとデータウェアハウスの違いの考え方とも関係します)。

ただし、「ELTのほうが優れている」わけではない

ELTは新しい考え方ですが、ETLが劣っているわけではありません。ELTには、次のような注意点があります。

• 個人情報や機密情報が、元データのまま、格納先に残る:閲覧できる人を、きちんと絞る必要があります(最小権限の原則とは)
• 加工のルールが、あちこちに散らばりやすい:人によって、別々の方法で加工すると、同じ指標でも、数字がぶれます
• 格納先の処理に、費用がかかる:加工のたびに、計算の資源を使います

一方、ETLは、格納前に、個人情報を伏せたり、品質を確認したりできるため、規制や社内ルールが厳しい場面で、選ばれることがあります。

例:売上データの流れで比べる

同じ「売上データを、分析に使える形にする」作業を、2つの方式で並べてみます。

ELTでは、元のデータが残っているため、「キャンセルの扱いを変えたい」といった場合に、元データから再計算できます。一方、その元データには、個人情報などが含まれたままなので、誰が見られるかの管理が欠かせません。

ELTでも「どこで加工するか」を決める

ELTの方式では、格納先で、さまざまな加工が行われます。そのままにすると、人ごとに、別々の加工が増え、数字がぶれます。そのため、格納先のデータを、段階に分けて管理する考え方がよく使われます。

指標の定義は、最後の段階で、一か所だけで行うことで、誰が使っても、同じ数字になります。

選ぶ時に考えたい4つのこと

実際には、どちらか一方に決めきらず、組み合わせることも多くあります。たとえば、個人情報を含む部分だけ、格納前に処理し、それ以外は、格納後に加工する、といった使い分けです。

どちらを選んでも、大切なこと

順番が違っても、共通して大切なのは、次の点です。

1. 加工のルールを、一か所で管理する:同じ指標を、人ごとに別の方法で計算しない
2. 指標の定義を、先にそろえる:「顧客数」「売上」の意味が違うと、どれだけ仕組みを整えても、数字はぶれます(データ分析の前に決める4つのこと、指標の定義書の作り方)
3. 誰が、どのデータを見られるかを、決めておく:データの管理の全体像は、データガバナンスとはで整理しています

まとめ

• ETLは整えてから格納、ELTは格納してから整える
• ELTは、元のデータが残り、あとから再加工しやすい
• ただし、ELTが優れているわけではなく、個人情報の扱い・定義のぶれ・費用に注意が必要
• 選ぶ時は、データの性質・変わりやすさ・利用者・費用で考える
• どちらでも、加工のルールと指標の定義を、一か所で管理する