データウェアハウス体験

転職先で初めてデータウェアハウス運用の現場を見た。
想像していたのとぜんぜん違う。データベース観の転換が必要。

  • 「データウェアハウスに対してアドホックなクエリを発行してレポートを生成する」というイメージは古かった。ここのデータウェアハウスは、BIツールに食わせるCSVを生成するための「中間ファイル」に過ぎない。「CSVを吐き出しやすいかどうか」でデータ構造が決められている。
  • ユーザは「アドホックな問い合わせ」を、BIツールに対して行う。データウェアハウスに直接アクセスするエンドユーザはいない。
  • 夜間バッチで「ファイル転がし」を堂々とやっている。"wk_"を接頭語に持つテンポラリテーブルが大量に存在する。
  • 以上のことから、論理的なデータモデルなどというものはない。「ER図を見て事業を理解する」なんてことはできない。

どこまでがこのお客さん固有の話で、どこからが現代データウェアハウスの常識なのかは分からない。
とにかく基幹系/OLTPしか見たことのなかった自分には、あらゆることが異質に見える。
ER図に「xx伝票マスタ」なんてテーブルがあって唖然としたり。
これは「マスタ」という用語が乱用されているのではない。こっちの世界では伝票にもマスタとそうでないものがあるらしいのだ。