データレイクとデータウェアハウスの違い|目的から選ぶ考え方

一言でいうと

データレイクとデータウェアハウスは、どちらも、データを蓄積する仕組みです。ただし、役割が異なります。

なぜ、混乱しやすいのか

現場で混乱しやすいのは、どちらも、「データをためておく場所」と、説明できてしまうからです。

その説明だけでは、なぜ両方が必要なのか、どちらを選べばよいのかが、分かりません。

目的で考える

用語の違いを覚えるより、「何のために使うのか」で考えると、整理しやすくなります。

「生データ/加工済み」だけで覚えない

よく見かける説明が、「データレイクは生データ、データウェアハウスは加工済みデータ」というものです。方向性としては、間違いではありません。しかし、この説明だけで覚えると、かえって誤解する可能性があります。

• 実際のシステムでは、両者の機能が、重なることがあります
• 製品によって、構成が違います
• データレイクの中でも、整理された状態で保存する場合があります

両者の特徴を併せ持たせる構成は、「データレイクハウス」などと呼ばれることがあります。ただし、言葉の意味には、幅があります。

一般的な傾向

参考として、一般的に語られる傾向を整理します。あくまで傾向であり、製品や構成によって、例外があります。

具体例で考える

2つの例で、考え方を確かめます。

どちらも、「何に使うか」が決まると、必要な形が見えてくることが分かります。

よくある失敗

• 何でも保存したが、誰も使っていない:用途を決めずに、データをためるだけで、必要な時に、どこに何があるか分からなくなる(「データの沼」などと呼ばれることがあります)
• 指標の定義が、部署ごとに違う:整理された仕組みを作っても、「売上」の意味がそろっていなければ、数字は食い違う
• 最初から、大がかりに作る:使う人や目的が固まる前に、大規模な基盤を作ると、使われないまま、運用の負担だけが残る

小さく始めて、使われ方を見ながら、仕組みを育てていくほうが、結果として、無駄が少なくなります。

選ぶ前に考えたい3つのこと

用語を覚えるよりも、次の3つから考えることが重要です。

1. どんなデータを、保存するのか(売上のような整理されたものか、ログやファイルのような多様なものか)
2. 何のために保存するのか(定期報告か、将来の分析のためか)
3. 誰が、どのように使うのか(専門の担当者か、現場の担当者か)

特に、整理された指標で分析する場合は、数字の定義をそろえることが欠かせません。顧客数や売上のような指標の定義がそろっていないと、どんな仕組みを入れても、数字がぶれます(データ分析の前に決める4つのこと)。

関連する考え方

データを、種類や場所ごとにつなぎ、一元的に扱う考え方として、データファブリックとはもあります。

まとめ

• データレイクは幅広く蓄積する場所、データウェアハウスは分析・報告向けに整理した仕組み
• 「生データ/加工済み」だけで覚えると、誤解しやすい
• 実際には、機能が重なり、製品によって構成も違う
• 用語ではなく、どんなデータを、何のために、誰がどう使うかから考える

関連記事:ETLとELTの違い、データガバナンスとは