外媒稱聯(lián)發(fā)科 SoC 跑分造假：官方否認，但反駁又來了

時間：2020-05-04 13:53:01

關(guān)鍵字：聯(lián)發(fā)科 SoC NAND 測試

手機看文章

掃描二維碼
隨時隨地手機看文章

[導讀]現(xiàn)在的手機跑分，真的是不能信。手機產(chǎn)商、芯片廠商越來越追求芯片的跑分數(shù)值，Benchmark （基準性能測試）逐漸成為衡量設備性能的重要標準。但在一味追求分值的同時，廠商們也逐漸深陷“分值禁錮”之中，

現(xiàn)在的手機跑分，真的是不能信。

手機產(chǎn)商、芯片廠商越來越追求芯片的跑分數(shù)值，Benchmark （基準性能測試）逐漸成為衡量設備性能的重要標準。

但在一味追求分值的同時，廠商們也逐漸深陷“分值禁錮”之中，近期的聯(lián)發(fā)科，就是如此。

聯(lián)發(fā)科芯片 benchmark 造假

事情的開始，要從 OPPO Reno3 說起。

外媒 Anandtech 發(fā)現(xiàn)，搭載 P95 CPU 的歐洲版 OPPO Reno3 Pro 的跑分數(shù)值比搭載性能更強大的最新 Dimensity 1000L CPU 的國行版 Reno3 的高，這引起了 Anandtech 的質(zhì)疑。

由此，Anandtech 分別使用匿名版（可幫助分值作弊）和常規(guī)版的 PCMark 對 MediaTek P95 CPU 進行跑分。

雷鋒網(wǎng)注：圖源 Anandtech

結(jié)果顯示，P95 CPU 的真實總分比匿名版得分低 30%；在寫入負載方面，二者得分的差異甚至達到 75%。

同時，Anandtech 指出，通過對 OPPO Reno3 Pro 進行測試，結(jié)果表明并非是 OPPO Reno3 Pro 導致的跑分差異。也就是說，造成跑分差異的根源在于聯(lián)發(fā)科芯片。

為了證明這一結(jié)論，Anandtech 對 Reno3 搭載的聯(lián)發(fā)科芯片作進一步調(diào)查。結(jié)果發(fā)現(xiàn)，在手機的固件（/vendor/etc 文件夾）中，包含一個“power_whitelist_cfg.xml”文件。

該文件中存在一個涵蓋各種基準測試的列表，包括 GeekBench、AnTuTu、3 dbench,、PCMark、魯大師、AndroBench2 等。不僅如此，列表中還新增了人工智能基準測試，包括 Master Lu AIBench、ZTH AI 。

雷鋒網(wǎng)注：Reno3 Pro“運動模式”基準白名單部分截圖（圖源 Anandtech）

在這其中，Anandtech 找到了 PCMark 的 APK ID，發(fā)現(xiàn) ID 中配置了一些電源管理提示，其中一個共同的提示為“運動模式”。

該模式能夠修正 SoC 芯片的一些 DVFS （動態(tài)電壓頻率調(diào)整）特性，比如始終以最大頻率運行內(nèi)存控制器。另外，在負載跟蹤方面，調(diào)度器也被更改了設置，在工作負載時 CPU 核心的頻率能夠更快地上升，并停留更長時間。

不僅如此，其 APK ID 還包含了企業(yè)版的 GFXBench，雖然在清單中沒有配置“運動模式”提示，但在使用應用程序是會改為默認的 DVFS、熱力和調(diào)度器設置。

值得注意的是，“power_whitelist_cfg.xml”文件不僅存在于 OPPO 設備上，Anandtech 還在其他設備上（搭載聯(lián)發(fā)科芯片的設備）發(fā)現(xiàn)了類似文件以及幾乎相同的基準清單條目。如表所示：

雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))注：表中缺少 AI 測試，并非完整的基準測試列表（圖源 Anandtech）

巧合的是，在 Anandtech 解壓文件之后，OPPO 向手機推送了一個固件更新，文件中原有的基準列表消失了。Anandtech 認為該文件列表僅是被移動了位置，因為基準測試中依然能夠觸發(fā)“運動模式”，從而使性能大大提升。

聯(lián)發(fā)科回應

對于 Anandtech 提出的質(zhì)疑，聯(lián)發(fā)科方面也給出了正面回應。以下為回應聲明：

聯(lián)發(fā)科技遵循公認的行業(yè)標準，并且對基準測試準確地代表了我們芯片組的功能充滿信心。在測試和基準測試由我們的芯片組驅(qū)動的設備時，我們與全球設備制造商緊密合作，但最終，品牌商可以靈活地配置自己認為合適的設備。許多公司將設備設計為在進行基準測試時以最高性能運行，以顯示芯片組的全部功能。這揭示了任何給定芯片組的性能能力的最高端。
當然，在現(xiàn)實世界中，有許多因素將決定芯片組的性能。聯(lián)發(fā)科技的芯片組旨在優(yōu)化功耗和性能，以在盡可能延長電池壽命的同時提供最佳的用戶體驗。如果有人正在運行諸如要求苛刻的游戲之類的計算密集型程序，則該芯片組將智能地適應計算模式以提供持續(xù)的性能。
這意味著，隨著芯片組根據(jù)出色的用戶體驗所需的功能和性能動態(tài)管理 CPU，GPU和內(nèi)存資源，用戶將從不同的應用程序中看到不同的性能水平。此外，某些品牌在不同地區(qū)具有不同類型的模式，因此設備性能可能會因地區(qū)市場需求而異。
我們認為，在基準測試中展示芯片組的全部功能與其他公司的做法是一致的，并且可以為消費者提供有關(guān)設備性能的準確信息。

聯(lián)發(fā)科認為，其公布的 Benchmarks 分值代表了芯片組驅(qū)動設備時的最高分值，代表了芯片組性能的最高端，所以不存在跑分造假的行為。同時聯(lián)發(fā)科指出，這一做法與其它公司的做法是一致的，也就是說，行業(yè)里的廠商都是這么做的。

但這一回應遭到了 Anandtech 的反駁。Anandtech 認為，聯(lián)發(fā)科并無回應出問題的本質(zhì)。其具有欺騙性的 Benchmarks 不僅針對的是與 SoC 相關(guān)的跑分軟件（例如 GeekBench、GFXBench），而且面向了與用戶體驗相關(guān)的跑分軟件，也就是前文提到的 PCMark。

Anandtech 解釋稱，PCMark 是一個系統(tǒng)基準測試，其分值代表了芯片的工作負載和設備響應能力。雖然 PCMark 反映的是芯片的性能，但會受 DVFS 和調(diào)度程序等軟件和機制的影響；這也印證了前文提及“運動模式”會修正 SoC 芯片的 DVFS 特性，從而影響 Benchmarks 分值。

另外，Anandtech 指出，PCmark 分值反映的是用戶使用體驗，而不僅僅是芯片組的性能。也就是說，Anandtech 認為聯(lián)發(fā)科干涉 PCmark 分值已超出了芯片跑分的范圍。

用產(chǎn)品說話，才擲地有聲

事實上，在聯(lián)發(fā)科之前，三星、華為都曾因欺騙 Benchmark 結(jié)果陷入輿論中心。

2014 年，測試人員發(fā)現(xiàn)三星通過添加源代碼在基準測試中作弊，該代碼能夠檢測基準測試應用程序是否在手機上運行，一旦發(fā)現(xiàn)，則以更快的速度（532MHz，正常情況下為 480MHz）運行手機。

由此，三星遭到了集體訴訟，且該訴訟長達 4 年。2019 年 9 月 30 日，三星敗訴，承認在基準測試中作弊，同意向 Galaxy S4 的購買者支付 10 美元賠償。

同樣的事情在華為身上也發(fā)生了。Anandtech 發(fā)現(xiàn)，華為會在新設備中配備基準檢測機制，為 SoC 提供了更高的功率限制。最終，在某些白名單應用程序中，設備的性能會更高。

不過，這種做法會帶來一些負面影響，包括消耗電能，降低機組效率，降低電池壽命等。

對此，華為表示，僅憑一個單一的基準數(shù)字并不能顯示完整體驗。但對于部分項目，進行基準測試是整個行業(yè)中被認可的方式，每個公司都在朝著更好的客觀結(jié)果而努力。同時，華為消費者 BG 軟件工程部總裁王成錄表示，其他廠商都在進行同樣的測試獲得高分，華為不能保持沉默。

不難看出，Benchmark 的高分值正成為芯片制造商追求的目標，也逐漸成為了行業(yè)的營銷手段。Benchmark 分值固然能反應設備的性能，但為了營銷、數(shù)值攀比而進行跑分造假不應是行業(yè)常態(tài)。

且不論“你做我也做”追求 Benchmark 高分值的盲目性，就跑分造假這一行徑而言，其分值只能在短時間內(nèi)獲取用戶體驗的好感度，但從長期視角來看，追求高分值會帶來設備性能的損耗，這并不是與用戶建立良好關(guān)系的正確途徑。

正如 AnandTech 在文中提及，更好地與用戶體驗建立聯(lián)系的唯一方式，就是讓每個常規(guī)游戲在標準的功率范圍內(nèi)運行。

也就是說，性能最具說服力的表現(xiàn)不是分值，而是產(chǎn)品本身。