CSCNN：新一代京東電商廣告排序模型

CTR ( Click-Through-Rate ) 即在建模展現(xiàn)這條廣告的情況下，用戶點(diǎn)擊的概率。在搜索的場(chǎng)景下，該概率可以描述成依賴于4個(gè)不同類(lèi)型輸入的函數(shù)：

• Query：描述用戶搜索意圖。

• 用戶側(cè)特征：描述用戶的興趣、偏好。

• 商品側(cè)特征：描述這個(gè)商品是否優(yōu)質(zhì)。

• context特征：描述用戶搜索時(shí)屬于怎樣的場(chǎng)景，是上班的時(shí)候搜的還是周末搜的，此時(shí)是否有活動(dòng)。

1. 特征工程與提取數(shù)據(jù)

特征工程主要包括以下幾點(diǎn)：

多模態(tài)信息建模：

• 人工特征：一般在構(gòu)建CTR模型的初期，會(huì)花很多精力做人工特征，比如說(shuō)ID類(lèi)的或者是實(shí)數(shù)的特征。通過(guò)構(gòu)建有區(qū)分性的特征來(lái)優(yōu)化模型的效果。

• 文本特征：描述細(xì)粒度Query中的用戶意圖。

• 用戶側(cè)特征：對(duì)用戶和商品之間關(guān)系的建模。比如說(shuō)對(duì)用戶序列進(jìn)行建模，或者是對(duì)用戶和商品之間的交互關(guān)系做圖表示建模。

• 圖像特征：它和前面的信息源的模態(tài)不同，但在多媒體的場(chǎng)景下，圖像一般是和文字一起構(gòu)建完整的商品信息展現(xiàn)給用戶，所以這部分的建模也很有必要。

特征的交叉：FM 、FFM、DCN等替代繁重手工特征交叉的方法。

解決過(guò)擬合問(wèn)題：解決特征長(zhǎng)尾稀疏時(shí)，embedding的過(guò)擬合問(wèn)題。

2. 對(duì)CTR模型做目標(biāo)函數(shù)刻畫(huà)

度量學(xué)習(xí)問(wèn)題：之前給出的搜索場(chǎng)景不是很適合做pointwise的模型，主要的原因在于在搜索的場(chǎng)景下，候選集很有限。比如說(shuō)搜連衣裙的時(shí)候， n個(gè)商品都是連衣裙，并不需要區(qū)分用戶點(diǎn)擊連衣裙商品和鞋子商品的概率的高低，因?yàn)樗鼪](méi)有可比性。所以在搜索場(chǎng)景下，做得更多的是在小候選集下的優(yōu)化過(guò)程，此時(shí)需要做一些Query下的AUC的訓(xùn)練和預(yù)估。

Selection bias 問(wèn)題：主要描述的是在電商場(chǎng)景下會(huì)出現(xiàn)一些訓(xùn)練集和測(cè)試集不一致的情況。測(cè)試集指的就是線上預(yù)估的集合，因?yàn)樵诰€上召回幾百個(gè)商品，要對(duì)這幾百個(gè)商品進(jìn)行排序的情況下，因?yàn)閷?shí)際上一頁(yè)展現(xiàn)的商品有限，可能最終展現(xiàn)給用戶只有頭部的這幾個(gè)有l(wèi)abel的商品。所以在離線評(píng)估的時(shí)候，只能評(píng)估這幾個(gè)商品的使用情況，但是在線上Serving的時(shí)候需要對(duì)整體進(jìn)行排序，就要解決Selection bias的問(wèn)題。

長(zhǎng)期回報(bào)問(wèn)題：在上一頁(yè)P(yáng)PT中給出了一些簡(jiǎn)單的假設(shè)，是當(dāng)上下的商品沒(méi)有耦合關(guān)系的情況下，可以做貪婪CTR模型。如果有耦合關(guān)系，可能就要對(duì)搜索詞下的整個(gè)用戶對(duì)電商平臺(tái)產(chǎn)生的回報(bào)，即加和的Reward (?長(zhǎng)期回報(bào) ) 建模。

3. 結(jié)合系統(tǒng)架構(gòu)的工作

Online Learning：線上系統(tǒng)中數(shù)據(jù)分布式是時(shí)變的。工程上的傳統(tǒng)方式是做定期重啟的全量訓(xùn)練。但由于數(shù)據(jù)量大，訓(xùn)練很慢，依然會(huì)導(dǎo)致訓(xùn)練和預(yù)估存在時(shí)間/分布的gap。online-learning是一種很有用的方向，通過(guò)流式的數(shù)據(jù)預(yù)處理和訓(xùn)練，使模型緊跟線上分布，解決時(shí)變帶來(lái)的gap。

線上分布式serving：由于單機(jī)內(nèi)存的限制，線上模型的體積會(huì)受到約束。我們通過(guò)分布式和模型并行支持TB型的模型的加載，同時(shí)保證模型各部分參數(shù)版本一致性。放開(kāi)了線上內(nèi)存的限制，增加模型的表達(dá)能力。

線上gpu serving：放開(kāi)線上計(jì)算復(fù)雜度的限制，有助于使用更深的更復(fù)雜的模型結(jié)構(gòu)來(lái)增加模型的表達(dá)能力。

所以說(shuō)從整體上來(lái)看，本研究所探討的使用視覺(jué)信息提升排序模型效果的工作，主要還是集中在第一部分——特征和數(shù)據(jù)建模中多模態(tài)的建模。通過(guò)優(yōu)化這些圖像的特征建模，能夠得到商品側(cè)更好的展現(xiàn)效果，進(jìn)而提升用戶對(duì)于商品的點(diǎn)擊率。

03

基于視覺(jué)信息的CTR廣告預(yù)測(cè)

1. 視覺(jué)信息在商品展現(xiàn)中給人呈現(xiàn)的印象

Intuition：在整個(gè)搜索版面中，每個(gè)商品都是圖文結(jié)合的。商品主圖的版面很大，有很強(qiáng)的視覺(jué)沖擊力，而且主圖中會(huì)包含很多細(xì)節(jié)信息，比如說(shuō)材質(zhì)、紋理、款式等，這些信息是難以通過(guò)title、ID類(lèi)特征或者是一些屬性信息體現(xiàn)出來(lái)的，只能通過(guò)圖像來(lái)提取這些細(xì)節(jié)信息進(jìn)行建模。而且在訓(xùn)練的過(guò)程中，只對(duì)這些ID類(lèi)特征進(jìn)行辨別，可能還會(huì)遇到一些稀疏或者冷啟動(dòng)的問(wèn)題。假如使用CNN來(lái)提取圖像特征的話，更有可能來(lái)避免這些事情來(lái)提升模型的泛化性。

2. 使用圖像建模的瓶頸

工程實(shí)現(xiàn)較為困難：此前用到的一些點(diǎn)擊率預(yù)估模型都是比較簡(jiǎn)單的MLP的模型，他們其實(shí)訓(xùn)練和serving都是非?？斓?。但是加上CNN之后，訓(xùn)練會(huì)出現(xiàn)性能瓶頸，導(dǎo)致模型更新周期更長(zhǎng)；serving也會(huì)出現(xiàn)非常嚴(yán)重的性能瓶頸，可能會(huì)直接影響線上服務(wù)的時(shí)遲。

建模效果收益有限：

在使用圖像特征之前，我們已經(jīng)提了很多的商品側(cè)的特征，傳統(tǒng)建模方式不能完全保證從圖像中來(lái)獲取到的是增量細(xì)節(jié)信息。假如只提取到一些和已有屬性或者類(lèi)目重復(fù)的信息，那么引入CNN直接建模圖像的意義就很小了。

和傳統(tǒng)圖像的任務(wù)不同，例如檢測(cè)分割或者是分類(lèi)問(wèn)題的監(jiān)督信號(hào)非常強(qiáng)，但點(diǎn)擊率預(yù)估是一個(gè)監(jiān)督信號(hào)很弱的場(chǎng)景。用戶點(diǎn)或者沒(méi)點(diǎn)二分類(lèi)場(chǎng)景中，本身就是包含了一定的random noise。在這種監(jiān)督信號(hào)不強(qiáng)、有噪的情況下，訓(xùn)練好CNN是困難的。

3. 問(wèn)題的解決

下面，我們主要針對(duì)這兩點(diǎn)做了一些已有方法的調(diào)研。

• 固定提取embedding圖像：不做二階段的訓(xùn)練，從而規(guī)避前述問(wèn)題。但是固定的CNN提取出來(lái)的特征，無(wú)法保證和已有的屬性、類(lèi)目信息不產(chǎn)生交疊，因此CNN提供的增量信息有限。

• 端到端的CNN和CTR模型聯(lián)合的訓(xùn)練：絕大多數(shù)工作還都是在做離線的評(píng)估，很少有做工業(yè)級(jí)數(shù)據(jù)的線上serving。所有工作都直接將傳統(tǒng)用于圖像分類(lèi)的CNN直接拼入CTR模型中，并沒(méi)有做任何結(jié)構(gòu)的改進(jìn)以適配當(dāng)下問(wèn)題 ( 后續(xù)會(huì)說(shuō)明傳統(tǒng)CNN解決CTR問(wèn)題的不足 )。

• pre-training：使用圖像分類(lèi)/只基于圖像的CTR問(wèn)題，做pre-training。以期獲得二階段更好的效果。

04

我們的工作：CSCNN