【イベントレポ】Data Platform Meetupに参加しました（2019/9/5）
data-platform-meetup.connpass.com
こちらのイベントに参加してきました。
DWHとマートの切り分けやメタデータ管理、ワークフローなど近頃気になってはいるもののあまりオープンに情報共有されているわけではない印象を持っていたので、とても有難い機会でした。
イントロ
会の趣旨、Rettyさん主催だったのでRettyさんの紹介など。
スライドはもし公開されれば追加します。
発表１「カルチャーとエンジニアリングを繋ぐデータプラットフォーム」（by @takegue さん）
Rettyのデータ基盤を作っていく上でどのようなことを意識しているのか、どうやって価値を発揮していくのかと言うお話でした。質を担保するためにアナリストがSQLにテストを書くと言う取り組みが新鮮でした。自社でもクエリの質の担保が一つの課題感だったりするので参考にしたいです。
他、Rettyさんの技術ブログでも取り組みがしっかりまとめられているのでもしご興味あればご覧ください。
発表２「データレイク構築後の四方山話」（by @yuzutas0 さん）
ゆずたそさんの発表でした。内容は実際に経験した中で多かったデータ基盤周りのお悩みに対して解決策を説明していくと言う感じで、自分にも当てはまるものが多く、とても勉強になりました。
特に印象に残ったのは、データの質の担保のためにSQLをPythonでラップしてunittestを書くとか、クエリ文を集計分析してよく使われているテーブルを中間テーブルとして持たすなどです。
10分の発表でスライドが150枚超...スピード感がすごかったです。
履歴データの保持について、発表内で引用されていたスライドです。後で読もう。。
発表３「DataPlatform構築プロジェクト推進の事例と学び」（by @ tamaki0506 さん）
エウレカのBIチームリーダーの方のお話でした。エウレカさんでのデータ基盤アーキテクチャのお話、構築PJの立ち上げのお話など広い範囲を途中で踏んだアンチパターン含めて語って下さった発表でした。
個人的に印象に残ったのは、データマートは誰でも使えることを前提においているから、BIツールなどの手段と共に提供するということです。自分の中でDWHとマートって何が違うのかあまり理解していなかったので、一つの実例を知ることができてよかったです。
発表４「大規模サービス開発における分析用データの必要要件」（by @shoei さん）
メルカリのBIチームリーダーの方のお話でした。 メルカリさんが現在進行形で遭遇している課題やそれに対して講じている解決策のお話でした。日本において有数の規模のデータを有している企業の方の実例を交えたお話を聞くことができたのはすごく貴重な機会でした。
現在アナリストが目的別のチームにアサインされて各々仕事をしているということで、モニタリングしている指標がMECEではないという問題に対する解決策として、横断での可視化PJをやられているということでした。このPJでは相当網羅的にKGIに紐づくKPIをモニタリングしていくということでした。ここで質疑の際に、みるべき数値を絞るという観点と矛盾するという話が出ましたが、目的の違いで、横断PJではプロダクトのヘルスチェックを目的としているので網羅的に見ている、分析の際には出来るだけ見るべき数値を減らして効果的なポイントだけ見ていくというお話をされていて、僕自身ダッシュボードを作成する際はなるべく見る数字を絞っていくということに重きをおいていたので、印象的でした。
終わりに
今回第一回目とのことでしたが、普段なかなか聞くことのできないお話ばかり聞くことができ、参加することができて良かったです。 改めまして会場、食事等ご準備いただいた主催のRettyさんに感謝申し上げます。ありがとうございました。
