360展示廣告智能化演進(jìn)

01

背景介紹

1. 展示廣告業(yè)務(wù)介紹

市場上有很多媒體，用戶訪問媒體 ( 比如PC端的搜狐、網(wǎng)易、新浪，移動端的頭條等 ) 時頁面會出廣告，媒體會將用戶當(dāng)前流量相關(guān)信息發(fā)送給Ad Exchange ( 流量拍賣平臺 )，該流量會由Ad Exchange發(fā)送給與其對接的多家DSP ( 廣告投放系統(tǒng) )，DSP會根據(jù)當(dāng)前流量選擇合適的廣告返回給Exchange，響應(yīng)時間要求在100ms以內(nèi)，這些廣告一般是由客戶或者廣告主 ( 比如電商類廣告主京東、唯品會、蘇寧，旅游類廣告主攜程等 ) 在DSP平臺按照流量篩選條件 ( 用戶、媒體、時間、地點 ) 設(shè)置，Exchange將各個DSP平臺返回的結(jié)果進(jìn)行整理，選擇出價最高的廣告返回給媒體，媒體最終將出價最高的廣告展示給用戶。

2. 常見展示廣告

常見的展示廣告有：

• 場景櫥窗廣告，購物tab欄里出現(xiàn)的購物商品廣告，有價格、商品名稱；

• 開屏廣告，打開媒體產(chǎn)品時展示由設(shè)計師精心設(shè)計的廣告素材；

• 信息流廣告，用戶在閱讀信息流內(nèi)容時，像正常信息流形式一樣出現(xiàn)的廣告，有標(biāo)題有圖片有內(nèi)容，這樣的信息形式不會特別破壞用戶的閱讀體驗。

3. 展示廣告架構(gòu)

展示廣告技術(shù)架構(gòu)，可以分為線上系統(tǒng)和線下系統(tǒng)。線上系統(tǒng)以DSP Server切入，Ad Exchange會將流量發(fā)送給DSP Server，DSP Server會將信息傳遞給Ad Search，Ad Search是廣告的檢索召回系統(tǒng)，海量廣告中粗召回匹配的幾百個甚至上千個廣告投放，Ad Search會將信息發(fā)送給Ad Selector，Selector會在幾百個廣告中選擇當(dāng)前最合理的一個返回給DSP，DSP再返回給Ad Exchange。整個過程的數(shù)據(jù)都會被記錄，以消息的形式發(fā)送給Kafka，最后存儲在hdfs上。線下系統(tǒng)，ETL會將數(shù)據(jù)轉(zhuǎn)成標(biāo)準(zhǔn)的訓(xùn)練樣本，這些訓(xùn)練樣本會提供給CVR、CTR等模型訓(xùn)練，訓(xùn)練好的模型在由線下推送到線上，交給Ad Search、Ad Selector作為廣告召回和排序使用。

4. CPC廣告投放設(shè)置

廣告有按照點擊扣費，有按照曝光扣費，CPC廣告是廣告主與DSP平臺按照點擊結(jié)算。右圖是典型的CPC廣告投放設(shè)置頁面，廣告主在設(shè)置頁面主要需要進(jìn)行如下操作：

• 上傳素材（圖片、文案）；

• 篩選流量（用戶、媒體、時間、地點）；

• 設(shè)置出價（CPC為一次點擊的出價）

本文主要介紹CPC廣告的效果優(yōu)化。

效果優(yōu)化

• 轉(zhuǎn)化：用戶看到廣告，點擊廣告之后后續(xù)產(chǎn)生的一系列廣告主認(rèn)為有商業(yè)價值的行為稱為轉(zhuǎn)化。

• 廣告效果優(yōu)化：獲取更多的轉(zhuǎn)化，提高轉(zhuǎn)化的概率，降低獲取轉(zhuǎn)化的成本稱為廣告效果優(yōu)化。

360效果優(yōu)化產(chǎn)品設(shè)計的基本理念是一切選項皆可優(yōu)化?？梢詫⑿Ч麅?yōu)化產(chǎn)品分為兩大類，一類是廣告主主動開啟使用，一類是后端策略優(yōu)化自動生效。產(chǎn)品的核心是點擊到轉(zhuǎn)化的概率預(yù)估問題，結(jié)合廣告主需求去拓展可以做效果優(yōu)化的場景。

2. 流量分層處理

對廣告來說，流量是海量的，能夠產(chǎn)生轉(zhuǎn)化的流量是極少的，那么流量按照轉(zhuǎn)化的效果自下而上來看，呈現(xiàn)的是一個金字塔結(jié)構(gòu)。針對塔底的低質(zhì)流量可以采取預(yù)算分配和分流量調(diào)價兩個方案。預(yù)算分配是針對點擊率低的流量，設(shè)置在這類低質(zhì)流量上的花費上限，如計劃的10%或20%，其他主要花費重點用在高質(zhì)流量上。分流量調(diào)價是從出價的角度，對于低質(zhì)流量的出價是按照正常流量出價打折。塔頂?shù)牧髁靠梢圆捎脙?yōu)選人群方案。根據(jù)用戶的廣告行為訓(xùn)練模型預(yù)測其是否會發(fā)生轉(zhuǎn)化，模型輸出值高的人群被歸為優(yōu)選人群。廣告主給這類優(yōu)選人群更高的出價，這樣在競價過程中更有可能勝出，得到曝光轉(zhuǎn)化機(jī)會。

3.?智能點擊出價

智能點擊出價是一款約束了廣告主平均點擊成本，盡可能優(yōu)化后續(xù)效果的一款廣告主主動開啟的產(chǎn)品。出價按照轉(zhuǎn)化率分段處理，高段做溢價處理，低段做減價處理。線上策略可以從三個維度進(jìn)行實現(xiàn)：

• 廣告已經(jīng)積累了大量樣本數(shù)據(jù)，可以單獨為廣告實現(xiàn)一個轉(zhuǎn)化率模型，并根據(jù)模型設(shè)計分段出價；

• 新廣告投放，可以根據(jù)廣告主的以前的廣告數(shù)據(jù)分布，設(shè)計一個模型指導(dǎo)分段出價；

• 新廣告主投放，可以根據(jù)同行業(yè)的其他廣告主的廣告數(shù)據(jù)分布設(shè)計模型進(jìn)行分段出價。

4.?智能創(chuàng)意組合

廣告主在創(chuàng)建廣告單元上傳素材時，有很多的素材（圖片文案）組合選擇，但是不清楚哪種組合轉(zhuǎn)化效果最好，所以廣告主會在投放過程中，根據(jù)實際的投放效果，選擇最佳的素材組合，關(guān)閉其他組合。智能創(chuàng)意組合，就是為了解決廣告主的這個需求而設(shè)計的產(chǎn)品。上圖展示的是廣告主上傳素材的界面，允許廣告主上傳多個圖片和多個文案，算法會根據(jù)當(dāng)前流量選擇最佳的圖片和最佳的文案組合展現(xiàn)給用戶。

5. 創(chuàng)意組合生成網(wǎng)絡(luò)

智能創(chuàng)意組合算法通過強(qiáng)化學(xué)習(xí)思路實現(xiàn)，打分模型為轉(zhuǎn)化率預(yù)估模型，根據(jù)當(dāng)前流量信息和生成網(wǎng)絡(luò)得到的圖片文案的組合作為輸入，得到轉(zhuǎn)化率；轉(zhuǎn)化率越高，創(chuàng)意組合越有價值。創(chuàng)意組合生成網(wǎng)絡(luò)是根據(jù)Attention機(jī)制實現(xiàn)的，生成網(wǎng)絡(luò)的輸入為圖片、文案、上下文信息。在生成網(wǎng)絡(luò)結(jié)構(gòu)中，以image1為例，將其作為query，與整個圖片素材庫的關(guān)系以及與整個文案庫的關(guān)系使用Attention建模，得到圖片信息經(jīng)過一個前向網(wǎng)絡(luò)得到輸出分?jǐn)?shù)，如果是多圖片，使用Softmax得到多圖片的概率分布。組合的結(jié)果可以直接選擇圖片和文案概率最大的，或者是概率分布做采樣。在迭代過程中，這兩種方式都會有所選擇來訓(xùn)練。

1. oCPC：智能化廣告投放產(chǎn)品

o是optimize，oCPC是針對CPC的廣告優(yōu)化。右圖展示的是oCPC的廣告設(shè)置界面。oCPC的特點如下：

• 相比于正常的CPC廣告界面，該界面簡化了設(shè)置內(nèi)容，不需要設(shè)置點擊出價；

• 量化了廣告主的目標(biāo)——轉(zhuǎn)化類型和目標(biāo)轉(zhuǎn)化成本；

• 效量兼顧，既考慮實際轉(zhuǎn)化成本接近目標(biāo)轉(zhuǎn)化成本，又兼顧擴(kuò)量的優(yōu)化，給廣告主帶來更多未投流量的轉(zhuǎn)化。

2. 出價邏輯

普通CPC的出價邏輯，從DSP角度來說，通過點擊率預(yù)估建立與廣告主目標(biāo)的橋梁，即CPC * PCTR。對于oCPC的出價邏輯：一階段基于實時反饋，廣告投放初期數(shù)據(jù)少，由系統(tǒng)給出CPC，根據(jù)線上實際轉(zhuǎn)化成本的情況來調(diào)整出價。二階段基于模型，當(dāng)數(shù)據(jù)積累到一定階段，訓(xùn)練轉(zhuǎn)化率模型得到PCVR，用客戶給出的目標(biāo)出價CPA*PCVR來模擬CPC出價，即CPA * PCVR * PCTR。

3. 多模型→單模型

oCPC的核心是轉(zhuǎn)化率模型：

• 產(chǎn)品上線初期，客戶較少，可以采用分客戶訓(xùn)練，針對使用該產(chǎn)品的客戶專門優(yōu)化，避免影響其他正常的客戶；

• 隨著數(shù)據(jù)的積累和效果穩(wěn)定，在前期投放過程中，出于謹(jǐn)慎考慮，對于客戶的投放都是精細(xì)化的流量，流量之間相互之間沒有重疊；

• 隨著客戶對投放量需求的增加，模型需要對之前沒有見過的流量做轉(zhuǎn)化率預(yù)估，利用同行業(yè)客戶的相似性，分行業(yè)訓(xùn)練模型可以讓客戶共享投放信息來解決這個問題；

• 隨著產(chǎn)品的成熟，分行業(yè)和分客戶的多模型維護(hù)成本過高，使用單一模型就能滿足所有客戶需求。

4. 簡單模型→復(fù)雜模型

隨著產(chǎn)品的迭代，模型從簡單模型發(fā)展到復(fù)雜模型。產(chǎn)品初期，僅在精細(xì)流量上做投放，采用GBDT就可以滿足需求。隨著可投流量和特征數(shù)量增加，GBDT的樹深度和棵數(shù)有限無法滿足需求，采用LR模型解決可投流量擴(kuò)展問題。隨著業(yè)務(wù)發(fā)展擁有海量數(shù)據(jù)，傳統(tǒng)模型存在瓶頸，最終采用了DNN模型解決海量數(shù)據(jù)問題。

5.?oCPC模型結(jié)構(gòu)

oCPC模型結(jié)構(gòu)采用PNN架構(gòu)，將特征分為多個group——廣告、媒體、用戶、其他上下文；每個group學(xué)習(xí)一個embedding表示，然后使用embedding相乘得到特征交叉?？紤]到神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，線上計算做了性能優(yōu)化，預(yù)測時廣告無關(guān)的部分只會計算一次，只有不同的廣告特征才會被多次計算。

6. 單任務(wù)→多任務(wù)

轉(zhuǎn)化率模型初期只考慮了點擊到轉(zhuǎn)化的樣本，訓(xùn)練出一個單任務(wù)的轉(zhuǎn)化率模型。隨著ESMM和ESM2的出現(xiàn)，360的轉(zhuǎn)化率模型從單任務(wù)向多任務(wù)模型發(fā)展。單任務(wù)模型考慮的是點擊后到轉(zhuǎn)化的樣本，只考慮了曝光的子集樣本。如何保持線上線下一致，將曝光無點擊的樣本加入訓(xùn)練，這就是多任務(wù)模型解決的問題。完整的樣本空間，子模塊CTR PNN模型是曝光樣本的點擊概率，LOSS1是pctr的loss，子模塊CVR PNN模型是點擊后轉(zhuǎn)化的概率模型，pcvr表示該曝光樣本如果點擊，點擊到轉(zhuǎn)化的概率。實際需要對于每個曝光樣本做曝光轉(zhuǎn)化預(yù)估，那么將pctr * pcvr就得到了曝光轉(zhuǎn)化概率pctcvr，而LOSS2就是該曝光轉(zhuǎn)化的loss。曝光到轉(zhuǎn)化之間還存在其他鏈路，可以使用更多的任務(wù)和loss來表示。另外，多任務(wù)模型會共享group embedding輸入。

7.?單目標(biāo)出價→多目標(biāo)出價

隨著業(yè)務(wù)發(fā)展，客戶會有更多的轉(zhuǎn)化要求。在注冊目標(biāo)成本已經(jīng)滿足需求的情況下，考慮付費的優(yōu)化。參考智能點擊出價，訓(xùn)練一個付費模型，在注冊率一定的情況下，付費率如果在金字塔頂層，就增加出價，在低層，就減少出價，來滿足客戶付費優(yōu)化的需求。付費模型采用MMOE實現(xiàn)，注冊是任務(wù)A，付費是任務(wù)B，Gata A僅作為任務(wù)A的輸入，Gata B僅作為任務(wù)B的輸入。對于該模型的任一任務(wù)來說，可以由幾個固定的專家打分得到。那么專家的輸出與Gata A 輸出的概率分布作為任務(wù)A的輸入，專家的輸出與Gata B輸出的概率分布作為任務(wù)B的輸入。這個模型在同時擁有多個轉(zhuǎn)化的場景中得到效果驗證。

8. 高延遲→低延遲

知識蒸餾解決線上高延遲問題。知識蒸餾存在Student模型參數(shù)減少過多，導(dǎo)致效果Teacher模型差很多，以下是兩個優(yōu)化方法：

• 提高Teacher模型復(fù)雜度

• Teacher模型加入點擊后轉(zhuǎn)化前的特征

嘉賓介紹：

劉斌

360 |?資深算法工程師

特別推薦一個分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長按關(guān)注一下：

長按訂閱更多精彩▼
如有收獲，點個在看，誠摯感謝