阿里飛豬搜索技術的應用與創(chuàng)新

接下來為大家介紹下飛豬在召回策略上的一些技術：

航旅召回跟常用的搜索召回有相似的地方，也有不同，面臨的挑戰(zhàn)主要有：

• 用戶query和商品描述之間存在GAP

• 航旅商品僅百萬級，而且城市分割，很容易造成無結果

• 召回優(yōu)化時，很容易導致誤召回

• 旅行是低頻行為，用戶行為稀疏，算法樣本較少

鑒于這種情況，我們對用戶的召回分成了以下四種召回方式：經典召回（同義詞挖掘、相似query改寫、商品POI挖掘）、LBS召回、向量召回、個性化召回（I2I&U2I以及向量模型），來滿足用戶的需求。

1. 經典召回

剛剛已經介紹過同義詞挖掘和商品POI挖掘，這里主要介紹下相似query改寫。以“上海迪士尼樂園門票”為例，其實標準的商品是“上海迪士尼度假區(qū)”，而“黃山風景區(qū)”的標準商品其實是“黃山”。在這樣的情況下，如果我們直接創(chuàng)建搜索，可能召回的效果比較差。因而，我們會進行一些相似query挖掘，來滿足這種query和title GAP的情況。

Learning To Rewrite：

我們思路是使用多路改寫產生候選集合，然后用learning to Rank 選取top K結果。

首先假設用戶在篩選中輸入了query，這個query是比較相似的。因為用戶在篩選中是想要獲得他想要的結果。如果用戶第一個query，沒有得到想要的結果，用戶會進行一些改寫。就相當于用戶幫助我們完成了一次改寫，我們從中可以學到用戶改寫的信息。這里我們是用類似word2vec的模型實現的。

另外，從query相似度來看，我從文本上也可以獲得一個相似的query文本。這里我們采用的是doc2vec模型，來獲得文本相似性。

最后，通過query和title點擊，可以訓練一個雙塔結構的語義相似度模型，來獲得query和title相似性的特征。

通過這三種方式，我們可以獲得想要的相似query改寫的候選。

對于候選，通過一些人工標注及線上的埋點信息，來獲得原query和候選query相似的標注。這樣我們就可以訓練一個模型來進行相似query的排序工作。

最終，我們線上使用的模型是PS-SMART 模型。加上規(guī)則過濾之后，準確率可以達到99%?？梢杂绊懢€上36%的PV，對一次UV的無結果率可以相對降低18%。

2. 航旅特色召回：LBS召回

由于用戶是在旅行場景下搜索，用戶天然會需要LBS 相關的信息。如果是差旅用戶，可能會定阿里巴巴園區(qū)附近的酒店，如果是旅游用戶，可能會定黃山風景區(qū)附近的酒店。這就需要識別用戶想要的商品大概在什么樣的LBS范圍內。解決的方法是通過對query中用戶POI的識別，獲取用戶的經緯度，進行召回上的限制。

建模過程：

首先會對query進行常規(guī)的分詞，然后在POI專用的倒排索引庫進行檢索，獲得候選POI。接下來對候選POI query進行特征計算，計算出文本相似性、embedding相似距離，以及用戶當前位置輸入后，與歷史點擊的商品地點的距離做特征。然后用特征構建模型算出一個分數，通過一定的閾值得到結果。

最后，我們的準確率可以達到95%，GMV和成交都得到了一定的提升。

3. 深度召回：向量召回

① 背景

前面提到的都是一些簡單的文本召回，以及LBS召回等偏傳統(tǒng)的方法。前面說過，我們的商品按照目的地切換后，還是很稀疏，還會存在無召回的情況。對于這種情況，我們想到引入向量召回的方式進行補充召回。可以覆蓋改寫沒有的情況，可以召回一些原來不能召回的產品。

② 向量召回整體架構

向量召回架構如上圖。在線通過對query 進行embedding。離線通過HA3引擎，把所有的item embedding存儲到HA3引擎中。最后，SP通過從QP獲得query embedding，進行HA3檢索，獲得需要的商品。

③ 模型結構

模型結構，如上所示：

• query側：通過對query的文本，進行卷積層特征抽取。

• 商品側：我們主要的工作在這里，除了文本上對用戶目的地的需求，對商品類目的需求也是比較關注的。所以在商品特征上，使用了商品title文本的卷積特征，以及目的地類目id 的特征。

對這三個特征，我們沒有使用簡單的concat，而是使用了tensor fusion進行三個向量的外積，可以讓特征更好的融合。

最后，通過全鏈接層進行特征抽取，計算向量內積。

對于損失函數，我們使用的large margin loss。對于學的足夠充分的case ，就丟棄掉，不再進行學習，讓模型更快的達到我們想要的效果。

④ 樣本選擇

在樣本選擇上，我們對正負樣本也做了一些探索。

集團內通用的方法：

• 正樣本：query下用戶點擊的商品

• 負樣本：未點擊的商品

這樣的方法更適合在排序上使用，而不太適合召回。以左圖為例，用戶點擊了“上海迪士尼度假區(qū)”，未點擊的是下面的商品，雖然可能是由于商品的標題標準化比較低，用戶未點擊，但不能說它是不相關的商品。

我們的方法：

• 正樣本：和集團一樣，使用點擊的商品

• 負樣本：隨機選取的樣本作為負樣本

使用隨機選擇有兩方面：一是在全量商品中，進行隨機選擇；二是在一個類目或者目的地下，進行隨機選擇。這樣可以提升訓練的難度，達到我們想要的效果。

⑤ 模型產出與使用方式

最終產出的分數，也給排序使用了，作為排序的一個特征，取得了不錯的效果，可以排在第4位。另外，線上召回可以讓無結果率降低32.7%。同時，擴充了1.7倍的相似query。

4. 個性化召回

為什么做個性化召回？

因為在旅行場景下，會存在一些泛需求搜索。比如搜杭州，我們會對杭州所有的商品和酒店進行召回。這樣大量的召回會給后面的排序造成很大的壓力，沒辦法根據用戶的query排出一個用戶想要的item。

另外，還有一種情況是用戶搜索的意圖不是很明確，可能會存在一些無結果的情況。對于這種情況，傳統(tǒng)的文本相似性、深度召回都無法召回的情況下，可以嘗試個性化的方式，給用戶推薦一些商品，直接展示在搜索結果中，提供補充，來提升用戶體驗。實踐證明，用戶也會對這類商品進行點擊和購買。

我們的方案有兩種方式：

• 引入推薦的召回結果，在此基礎上進行相關性粗排，得到個性化召回

• 構建了個性化專用的向量召回模型，來得到更好的個性化召回結果

整體的方式是將召回池分為個性化召回和文本召回兩路：

• 個性化召回：通過推薦的重定向、i2i 、lbs2i以及屬性2i等方式，來獲得推薦召回結果。

• 文本相關性過濾：通過文本相關性的過濾（如關鍵詞命中和向量cos相似度），把推薦召回和當前用戶搜索query很不相關的item過濾掉，展現給用戶比較相關，也是通過用戶i2i擴展的結果。

個性化召回模型：

• 在用戶側，通過用戶畫像屬性和用戶的query，進行特征抽取。另外，我們引入了用戶操作序列，來達到個性化目的。比如用戶最近搜索時，查看的商品、點擊的商品、加購的商品以及成交的商品，這些操作的商品序列，引入到模型中。然后通過用戶畫像和用戶query特征向量，對用戶歷史操作序列做attention，就能夠從用戶操作序列中取出跟用戶當前搜索最相關的商品特征，來滿足用戶當前搜索的需求。

• 在商品側，也會引入商品特征。如商品title、商品目的地、商品類目等特征，作為商品的優(yōu)選，然后獲得一個向量。

• 在上層，我們采用剛剛提到的tensor fusion來進行特征融合，讓不同的特征更好的融合。

模型優(yōu)化：

在深度向量召回上，對文本的特征采用卷積模型進行抽取。這里并沒有采用卷積，而是采用了簡單的詞向量concat 方式。這是因為通過實驗驗證，使用卷積學到的文本特征比較強，整體的個性化效果比較弱，這不是我們希望見到的。所以我們采用了減弱文本特征的限制，突出個性化特征帶來的額外檢索效果。