基于Spark的大規(guī)模推薦系統(tǒng)特征工程

1. Spark Catalyst和Tungsten優(yōu)化

Spark2.0之后提供了Catalyst和Tungsten優(yōu)化。圖為Catalyst從SQL解析到生成物理計劃的流程圖，由SQL語句或DataFrame接口通過編譯器技術(shù) ( 語法解析等 ) 生成Unresolved Logical Plan，Catalyst通過解析Catalog對Unresolved Logical Plan處理得到Logical Plan，在經(jīng)過SQL常用優(yōu)化方案，得到Optimized Logical Plan，優(yōu)化之Catalyst后可以生成多個基于Spark運行的Physical Plan，最終選擇其中最高效的進行運行。該方式適合于計算節(jié)點優(yōu)化，對于SQL的優(yōu)化也同樣效果顯著。

Tungsten是另外一種優(yōu)化方案。主要的優(yōu)化點在于：

• 內(nèi)存管理與堆外存儲避免了多余的內(nèi)存使用，同時減少了GC；

• 引入code generation技術(shù)，通過JIT編譯運行，Spark動態(tài)生成Java字節(jié)碼來計算這些表達式，而不是為逐行解析執(zhí)行，減少了原始數(shù)據(jù)類型的裝箱操作，更重要的是避免了Overhead較大的虛函數(shù)調(diào)用。

以一個經(jīng)典實例來介紹Tungsten的原理。左側(cè)的SQL命令可以翻譯成在Spark上運行的Logical Plan，由下往上分為4個計算節(jié)點，傳統(tǒng)的SQL執(zhí)行引擎中，四個節(jié)點分別由四個迭代器實現(xiàn) ( 可以理解為四個循環(huán) )，循環(huán)沒有合并優(yōu)化以及節(jié)點的虛函數(shù)調(diào)用對于CPU Cache非常不優(yōu)化，導(dǎo)致傳統(tǒng)的SQL引擎計算性能比較差。右側(cè)為Tungsten優(yōu)化后的結(jié)果，使用了whole staged code generation，對多節(jié)點的循環(huán)進行了合并，性能有著明顯的提升。

2. Catalyst/Tungsten的不足

Catalyst/Tungsten給Spark帶來了明顯的性能能提升，但Catalyst/Tungsten的優(yōu)化仍然是基于Java進行的，如果能使用更底層的指令集，如匯編、二進制碼效果會更好；JVM難以支持循環(huán)展開等優(yōu)化方式；而且并非所有的節(jié)點都支持code generation，例如圖中的WindowExec節(jié)點就不支持code generation。

3. FESQL

鑒于以原因，Catalyst/Tungsten的優(yōu)化仍有不足，第四范式基于LLVM技術(shù)進一步優(yōu)化得到FESQL。SparkSQL架構(gòu)如黃色部分所示，F(xiàn)ESQL架構(gòu)如藍(lán)色框所示，根據(jù)SparkSQL語句生成FESQL Logical Plan，再由LLVM JIT生成平臺二進制碼直接執(zhí)行，相比于Spark少了JVM一層，性能也會有明顯提升。

4. LLVM簡介

LLVM項目是一個模塊化的、可重用的編譯器和工具鏈集合，可以方便的實現(xiàn)編譯器和代碼生成的工作。提供了許多有用的工具，如Clang、LLDB、MLIR、TVM等，能夠?qū)崿F(xiàn)多種編程語言的編譯器。

JIT ( Just-In-Time Compiler ) 編譯，可以一邊運行程序一邊編譯二進制代碼，右圖為使用JIT編譯的Add函數(shù)，這部分代碼可以在運行時被翻譯成底層代碼，與直接使用C++來實現(xiàn)效率接近，同時JIT能夠適應(yīng)不同的CPU生成優(yōu)化的二進制碼。

5. FESQL的優(yōu)化點

目前已經(jīng)能使用循環(huán)展開、常數(shù)折疊、向量化和一些基于CPU本身的優(yōu)化；未來，基于PTX后端還可以嘗試生成CUDA代碼，利用GPU進行計算的加速。

6. 性能比較

FESQL與Databrick內(nèi)部的Photon非常相似 ( Photon內(nèi)部由C++實現(xiàn) )，因而進行對兩者進行比較。Photon是Databrick的企業(yè)產(chǎn)品，僅能在Databrick的平臺上使用，且不支持PTX/CUDA。對比由C++和由JVM實現(xiàn)的處理引擎的性能，發(fā)現(xiàn)C++實現(xiàn)的處理引擎性能非常優(yōu)越。

7. FESQL的節(jié)點優(yōu)化

FESQL使用了節(jié)點優(yōu)化，使用SimpleProject對Project節(jié)點進行合并優(yōu)化，對窗口節(jié)點使用code generate進行優(yōu)化。下圖說明了對于節(jié)點的優(yōu)化可以明顯減少執(zhí)行的流程。

8. FESQL的表達式優(yōu)化

FESQL也實現(xiàn)了非常多表達式優(yōu)化，保證在不同SQL場景都比傳統(tǒng)數(shù)據(jù)庫有著更好的性能表現(xiàn)。

9. 性能

對比Spark 3.0和FESQL on Spark可以發(fā)現(xiàn)，F(xiàn)ESQL的執(zhí)行效率明顯高于Spark 3.0，多窗口的情況下效果更明顯，有著接近6倍的性能提升。

通過對比兩者生成的邏輯計劃圖，可以發(fā)現(xiàn)FESQL的計劃圖明顯更簡單，通過對比兩者的火焰圖，底層RDD計算基本一致，F(xiàn)ESQL取樣的樣本數(shù)更少，執(zhí)行時間更短，因此FESQL的執(zhí)行效率更高。

10. 展望

未來第四范式計劃推出LLVM-enabled Spark Distribution，使開發(fā)者可以通過設(shè)置SPARK_HOME便利的實現(xiàn)性能加速；為開發(fā)者提供Docker、Notebook、Jar、Whl包，便于開發(fā)；提供類似Python的保證一致性的DSL語言用于UDF和UDFA實現(xiàn)；還有提供對CUDA和GPU的支持。

特別推薦一個分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長按關(guān)注一下：
																																																							

																																																								

																																																								

																																																									
																																																								

長按訂閱更多精彩▼
																																																								

																																																							
如有收獲，點個在看，誠摯感謝