Learning to Rank for Maps at Airbnb (KDD 2024) を読んだ

Last updated: 8月 02, 2024

Table of contents

概要

リスト表示における単純な仮定「ユーザはランキングの上から順にアイテムを見る」が，地図表示では成立しないことから出発し，地図表示特有の様々な改善を実施したよ，という論文

検索結果の評価においては，リスト表示を前提とした nDCG が一般的に使われる
リスト表示と地図表示が全然異なるという例
- 予測確率上位 N 個の宿をランダムな順序にする A/B テストは，リスト表示では予約数 8% 減，nDCG 5% 減と大きな悪化
- 地図表示で同様の実験をすると，（当たり前だが）指標に変化はなかった

前提: (クエリ Q による検索で予約が発生する確率) = Σ_i (順位 i の宿が見られる確率) * (順位 i の宿の予約確率)
- nDCG ではユーザが 1 位から順にアイテムを見ていくため，(順位 i の宿が見られる確率) は i が小さいほど高いという仮定があるが，この仮定は地図表示では成立しない
  - (順位 i の宿が見られる確率) のことを，これ以降では (順位 i の宿の注意) と呼ぶ
- リスト表示においては，i < j のとき，(順位 i の注意) > (順位 j の注意) が成立
仮説: 地図表示においては，(順位 i の注意) = (順位 j の注意) = 1/N となるのでは？（N は表示する宿の数）
- このとき，(クエリ Q による検索で予約が発生する確率) = 1/N Σ_i (順位 i の宿の予約確率) = (表示する宿の平均予約確率)
- つまり，地図で表示するアイテムを予約確率が高いものに絞ることで，予約数向上が見込める！
提案手法: Bookability Filter
- N 個の候補のうち，logit(宿の予約確率の最大値) - logit(宿 i の予約確率) > α の宿のみ選択し，地図に表示（Algo.1）
  - α はハイパーパラメータ，実験により 1.0 に設定

実験: 地図を単体で表示するモバイルのみに絞って A/B テストを実施
- control が 18 個固定，treatment が提案手法
結果: 提案手法が p値 0.00001 未満，予約数 1.9% 増で過去数年で最大の改善策の 1 つに
- さらなる改善: 宿の予約確率の最大値だと外れ値の影響を受けるので，top-n（n はヒット件数に依存する定数）の中央値を採用 → 各種指標を悪化させずに表示件数を増やすことに成功
これは本当にユーザの検索体験を向上させたのか？
- 疑問: 表示される宿の数が減ったことで，ユーザは予約可能な残りの宿が少ないと考えて急ぎで予約し，その結果，予約数が増えたのでは？（緊急性仮説）
- 実験結果: 18 個固定 vs 14 個固定で A/B テストを実施した結果，緊急性の仮説は否定された

仮説: 通常ピンとミニピンでは CTR に 8 倍の差があるので，注意にも差があるはず
- なので，どの宿を通常ピン or ミニピンで表示するかを変えることで，検索からの予約数も変わるのでは？
提案手法: Bookability Filter で選ばれた宿を通常ピン，残りをミニピンで表示
結果: A/B テストで予約数 0.7% 増

仮説: 地図表示においては，中心に位置する宿ほど注意が高いはず
- つまり，中心の位置を変えて，中心に表示する宿を変えれば，検索からの予約数も変わるのでは？
提案手法: 中心からの相対位置を考慮した注意（式 6）を元に，中心を位置を最適化する手法を提案
- 手法: 地図をセルに等分割し，各セルを中心にしたときの (あるクエリ Q が予約される確率) が最大になる位置を中心とする（Algo.2）
A/B テスト結果: 検索からの地図表示において，提案手法が p値 0.006，予約数 0.39% 増加
- 分析: ユーザが能動的に地図を移動させる割合も 1.5% 減っており，良い中心が設定できていることが分かった