【イベントレポ】RecSys論文読み会（2019/10/4）に参加しました。

connpass.com

RecSysは推薦システム系のトップカンファレンスです。今回のイベントは日本からRecSysに参加された方+実際に論文を発表された方がスピーカーで論文を紹介していくイベントでした。イベント主催のWantedlyさん、Gunosyさんありがとうございます。休日に五時間という長丁場にも関わらず会場は満員でした。（熱量がすごい）

論文の紹介数が10本と多かったので、本記事では僕自身の印象に残ったもの（+理解が追いついたもの）のみメモと感想を書いていこうと思います

Uplift-based evaluation and optimization of recommenders by @masatoh73

Uplift-based evaluation and optimization of recommenders

従来は精度を重視した推薦システムを重視していたが、Uplift（売り上げの増加）を重視したものを見ていく必要もあるのでは？という問題提起と実データに対する適用方法の話
例えば、レコメンドしなくてもユーザーが購入する商品はレコメンドしても売り上げの増加は無い。一方でレコメンドしなければ買わなかった商品はレコメンドすることによって売り上げの増加がある。
商品は、買われた/買われなかった, レコメンドされた/されてないの４パターンの組み合わせで表現でき、上手く計算するとレコメンドされなければ買わなかった商品を推定可能（因果推論的アプローチ？）

感想

レコメンドの主な機能としてユーザーが好むであろうアイテムを先回りして提示することによるユーザー負担の軽減とセレンディピティのあるアイテムの提示があると思っているのですが、今回の発表は後者寄りかなと思いました。どちらが重要視されるかは、サービスによって変わってくると思いますが、今担当している案件のレコメンドのオフライン評価において、前者を重視しすぎているなと思いつつも後者をどうやって測定すれば良いのかわかっていなかったので、ヒントとなる論文になりそうでした。

Predicting online performance of job recommender systems with offline evaluation

レコメンドの優劣は最終的にオンライン評価（A/Bテストなど）でやることが多いが、A/Bテストは制約が多い
オンライン評価でのパフォーマンスをオフライン評価の時点で見積もれないか？というのがモチベーション
使用したモデルは、userのinteractionに対してWord2vecを適用し類似度を計算したもの
結果、様々なオフライン評価の指標とオンライン評価の指標の散布図を取ると相関しているものがあることがわかった。
何のオフライン評価の指標とオンライン評価の指標が相関するかはサービスにより異なるので色々試してみると良さそう

感想

規模の大きなサービスであればA/Bテストの優劣をつけるのにそんなに時間はかからないかもしれませんが、規模が小さめなサービスの場合A/Bの期間が長くなってしまい、試行錯誤を効率的に回せないという状況が発生しがちな気がするので、有用だと思いました。あと単純にWord2vecをレコメンドに適用できるのを知らなかったので学びになりました。

DualDiv: diversifying items and explanation styles in explainable hybrid recommendation

DualDiv

推薦理由を生成し、どのように多様化させていくか？という話
レコメンドの説得力を高めるのに推薦理由の提示は有用
しかし、推薦理由が画一的なものになってしまうとその効果は薄れてしまう → 上手く多様化できないか？
HyPERという手法で推薦理由候補を生成
推薦上位のアイテムに選ばれていない理由を選択

感想

レコメンドに限らず、機械学習の説明性というのは最近よく聞く話題だなと感じていましたが、その具体的な方法についてはあまり知りませんでした。今自分が関わっている案件でも、推薦理由を提示できた方がユーザー体験が向上すると感じているので、実際の論文を読んでみて適用を考えていきたいと思います。

全体通して

素直に、このようなイベントはめちゃくちゃありがたいと思いました。とりあえずバンディット系の話は全然わからなかったので勉強しようと思います。あとはここで論文全て公開されているようなので気になるのを読んでみようと思います。またメモを書きます。