工業(yè)大數(shù)據(jù)體系結(jié)構(gòu)設(shè)計(jì)與分析

引 言

眾所周知，大數(shù)據(jù)平臺(tái)是以海量數(shù)據(jù)存儲(chǔ)為基礎(chǔ)，通過分布式實(shí)時(shí)計(jì)算引擎、在線數(shù)據(jù)分析以及離線批處理引擎提供數(shù)據(jù)的計(jì)算分析，通過大數(shù)據(jù)和人工智能技術(shù)，幫助用戶實(shí)現(xiàn)海量數(shù)據(jù)分析的任務(wù) [1]。隨著工業(yè)互聯(lián)網(wǎng)的完善，工業(yè)大數(shù)據(jù)作為一種大數(shù)據(jù)的應(yīng)用生態(tài)，得到了廣泛重視。然而， 在工業(yè)互聯(lián)網(wǎng)環(huán)境下，如何從用戶角度出發(fā)，設(shè)計(jì)出技術(shù)細(xì)節(jié)透明、交互操作簡(jiǎn)單、高效的工業(yè)大數(shù)據(jù)平臺(tái)及其上層應(yīng)用，成為工業(yè)大數(shù)據(jù)開發(fā)和應(yīng)用中的關(guān)鍵問題。本質(zhì)上，工業(yè)大數(shù)據(jù)是指在工業(yè)領(lǐng)域中，圍繞整個(gè)工業(yè)產(chǎn)品全生命周期所產(chǎn)生的各類數(shù)據(jù)以及相關(guān)技術(shù)和應(yīng)用的總稱，分為企業(yè)信息化數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)和外部跨界數(shù)據(jù)等幾類，涵蓋工業(yè)產(chǎn)品研發(fā)過程中的設(shè)計(jì)資料、產(chǎn)品生產(chǎn)過程中的監(jiān)控與管理、產(chǎn)品銷售與服務(wù)過程的經(jīng)營(yíng)和維護(hù)數(shù)據(jù)，具有數(shù)據(jù)量大、類型豐富、實(shí)時(shí)性強(qiáng)等特點(diǎn)。工業(yè)大數(shù)據(jù)在產(chǎn)品研發(fā)、故障診斷與預(yù)測(cè)、供應(yīng)鏈優(yōu)化和產(chǎn)品營(yíng)銷等環(huán)節(jié)能夠極大地促進(jìn)傳統(tǒng)制造向智能制造轉(zhuǎn)型，降低成本，提高產(chǎn)品質(zhì)量，顯著增強(qiáng)工業(yè)企業(yè)的競(jìng)爭(zhēng)力。

工信部于 2017年發(fā)表了《工業(yè)大數(shù)據(jù)白皮書》，明確了工業(yè)大數(shù)據(jù)的相關(guān)技術(shù)、應(yīng)用以及發(fā)展路線，描述了工業(yè)大數(shù)據(jù)發(fā)展的整體輪廓，并制定了工業(yè)大數(shù)據(jù)的發(fā)展規(guī)劃與建設(shè)路線。可以看出，無論是白皮書，還是《中國(guó)制造 2025》規(guī)劃，數(shù)據(jù)是靈魂，工業(yè)互聯(lián)網(wǎng)是基礎(chǔ)，大數(shù)據(jù)技術(shù)是關(guān)鍵。然而，工業(yè)大數(shù)據(jù)目前并沒有形成標(biāo)準(zhǔn)統(tǒng)一的體系結(jié)構(gòu)，其理論體系也并不完善。文獻(xiàn) [2-3]對(duì)工業(yè)大數(shù)據(jù)的技術(shù)體系及其實(shí)施路徑進(jìn)行了分析，詳細(xì)闡述了工業(yè)大數(shù)據(jù)的體系結(jié)構(gòu)。文獻(xiàn) [4] 對(duì)制造執(zhí)行系統(tǒng)進(jìn)行了介紹，并將其作為制造企業(yè)大數(shù)據(jù)的聚集分發(fā)中心，分析了其頂層設(shè)計(jì)，論述了工業(yè)大數(shù)據(jù)的功能，總結(jié)了工業(yè)大數(shù)據(jù)的建設(shè)和具體應(yīng)用?？傮w來說，我國(guó)工業(yè)大數(shù)據(jù)的研究和應(yīng)用處于初級(jí)階段，企業(yè)內(nèi)外部對(duì)數(shù)據(jù)利用不足，對(duì)工業(yè)大數(shù)據(jù)的應(yīng)用缺乏積累。對(duì)此，本文探討了將大數(shù)據(jù)技術(shù)與工業(yè)生產(chǎn)場(chǎng)景進(jìn)行整合的問題，就如何建設(shè)和應(yīng)用工業(yè)大數(shù)據(jù)系統(tǒng)問題進(jìn)行了討論，分析了工業(yè)大數(shù)據(jù)的體系結(jié)構(gòu)，對(duì)更好地挖掘和利用工業(yè)大數(shù)據(jù)具有一定的理論和實(shí)際意義。

1 工業(yè)大數(shù)據(jù)的基本功能

工業(yè)大數(shù)據(jù)是配置和利用大數(shù)據(jù)這一資源的平臺(tái)及其應(yīng)用系統(tǒng)，其功能主要表現(xiàn)在如下幾方面 ：

(1) 促進(jìn)工業(yè)大數(shù)據(jù)應(yīng)用。構(gòu)建工業(yè)大數(shù)據(jù)平臺(tái)來推動(dòng)數(shù)據(jù)的融合和應(yīng)用，有利于通過工業(yè)大數(shù)據(jù)來分析和預(yù)測(cè)市場(chǎng)需求，整合產(chǎn)業(yè)鏈和價(jià)值鏈，為用戶提供定制化產(chǎn)品和服務(wù)，實(shí)現(xiàn)工業(yè)生產(chǎn)模式和服務(wù)體系的創(chuàng)新。

(2) 挖掘工業(yè)大數(shù)據(jù)的潛在價(jià)值，實(shí)現(xiàn)工業(yè)大數(shù)據(jù)增值，促進(jìn)工業(yè)大數(shù)據(jù)的應(yīng)用。

(3) 工業(yè)大數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)通過對(duì)企業(yè)生產(chǎn)過程的優(yōu)化，引導(dǎo)企業(yè)認(rèn)識(shí)和利用數(shù)據(jù)，逐步培養(yǎng)企業(yè)的數(shù)據(jù)利用意識(shí)，不但能夠促使企業(yè)深入挖掘自身積累的工業(yè)數(shù)據(jù)，而且可以充分利用其它企業(yè)的大數(shù)據(jù)來推進(jìn)企業(yè)自身發(fā)展，增強(qiáng)企業(yè)應(yīng)用大數(shù)據(jù)的動(dòng)力。通過大數(shù)據(jù)采集、存儲(chǔ)、分析、交易過程中的一系列專業(yè)化服務(wù)，將有效拓展大數(shù)據(jù)產(chǎn)業(yè)的市場(chǎng)容量，有利于培育出一批專業(yè)化的大數(shù)據(jù)開發(fā)和服務(wù)公司， 吸引第三方數(shù)據(jù)服務(wù)商向工業(yè)大數(shù)據(jù)領(lǐng)域聚焦，更好地體現(xiàn)出工業(yè)大數(shù)據(jù)的應(yīng)用價(jià)值。

(4) 工業(yè)大數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)還可以通過數(shù)據(jù)交易衍生出圍繞工業(yè)大數(shù)據(jù)的金融產(chǎn)品，實(shí)現(xiàn)“企業(yè) + 金融 + 數(shù)據(jù)” 的融合。

(5) 提升工業(yè)大數(shù)據(jù)配置效率。很多企業(yè)由于規(guī)模、資金、人才等方面的原因，缺乏充分利用大數(shù)據(jù)的技術(shù)手段和交易平臺(tái)，導(dǎo)致對(duì)自身擁有的數(shù)據(jù)采集、存儲(chǔ)、分析等處于較低水平。工業(yè)大數(shù)據(jù)平臺(tái)能夠通過提供數(shù)據(jù)采集、清洗、確權(quán)、產(chǎn)品開發(fā)等服務(wù)，使數(shù)據(jù)得以資產(chǎn)化，讓其價(jià)值得到充分體現(xiàn)。

工業(yè)大數(shù)據(jù)平臺(tái)包含數(shù)據(jù)采集、存儲(chǔ)、加工、處理、分析等方面的功能，在很多應(yīng)用場(chǎng)合中，還設(shè)置了數(shù)據(jù)分析及控制系統(tǒng)，以充分發(fā)揮大數(shù)據(jù)在預(yù)測(cè)、控制方面的作用，更好實(shí)現(xiàn)以大數(shù)據(jù)技術(shù)提高工藝精度或良品率的目的，其典型結(jié)構(gòu)如圖 1 所示 [3]。

決策與控制子系統(tǒng)采用數(shù)據(jù)挖掘、預(yù)測(cè)分析手段實(shí)現(xiàn)對(duì)生產(chǎn)的精確控制，是上層決策和控制的技術(shù)基礎(chǔ)，是實(shí)現(xiàn)智能制造的核心部分。數(shù)據(jù)建模聚焦于為工藝、設(shè)備、用戶等建立分析模型，設(shè)計(jì)并部署不同的應(yīng)用系統(tǒng)，挖掘出特定的模式和知識(shí)，最終生成決策指令，實(shí)現(xiàn)生產(chǎn)流程的優(yōu)化與產(chǎn)品生產(chǎn)的智能化。一般來講，工業(yè)大數(shù)據(jù)的來源涵蓋了生產(chǎn)、銷售、管理、市場(chǎng)等方面的數(shù)據(jù)，應(yīng)根據(jù)數(shù)據(jù)來源的不同， 在組建工業(yè)互聯(lián)網(wǎng)的基礎(chǔ)上，設(shè)計(jì)合適的數(shù)據(jù)采集與交換系統(tǒng)。目前，由于已經(jīng)有了較為成熟的數(shù)據(jù)采集與數(shù)據(jù)預(yù)處理及存儲(chǔ)技術(shù)，工業(yè)大數(shù)據(jù)的主要技術(shù)難點(diǎn)在于如何準(zhǔn)確采集數(shù)據(jù)，準(zhǔn)確處理結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如何設(shè)計(jì)和實(shí)現(xiàn)成熟的挖掘算法，這是工業(yè)大數(shù)據(jù)走向成熟、實(shí)現(xiàn)其應(yīng)用價(jià)值的關(guān)鍵。此外，與企業(yè)已有的 ERP 系統(tǒng)進(jìn)行互聯(lián)，充分整合和利用現(xiàn)有各類系統(tǒng)的數(shù)據(jù)，也是工業(yè)大數(shù)據(jù)平臺(tái)的一個(gè)重要功能。

3 工業(yè)大數(shù)據(jù)的基本技術(shù)架構(gòu)分析

工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)涉及底層數(shù)據(jù)采集、預(yù)處理和存儲(chǔ)、建模、決策等各類技術(shù)組件的開發(fā)和應(yīng)用，從功能角度可以將這些技術(shù)組件分為三類，即采集、存儲(chǔ)及分析利用。一些文獻(xiàn)和某些應(yīng)用案例中提出的四層技術(shù)架構(gòu)的功能實(shí)現(xiàn)可以由這三種技術(shù)組合得到 [5-7]。一般情況下，工業(yè)大數(shù)據(jù)系統(tǒng)在設(shè)計(jì)時(shí)要重點(diǎn)考慮數(shù)據(jù)采集及其準(zhǔn)確性保證、數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)性展示、數(shù)據(jù)挖掘能力及數(shù)據(jù)的應(yīng)用（控制、預(yù)測(cè)）等。其中最核心的是如何建模，如何在生產(chǎn)質(zhì)量控制、工藝流程優(yōu)化等方面應(yīng)用這些數(shù)據(jù)。這需要融合建模、數(shù)據(jù)挖掘、流程管理等方面的處理模塊。本質(zhì)上，設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)分析模塊，更好地利用數(shù)據(jù)挖掘技術(shù)發(fā)揮工業(yè)大數(shù)據(jù)在智能制造中的優(yōu)勢(shì)，是目前工業(yè)大數(shù)據(jù)應(yīng)用研究中面臨的關(guān)鍵問題。

3.1 數(shù)據(jù)采集

隨著工業(yè)制造中各個(gè)工藝流程的精細(xì)化與制程的高密度 化，所產(chǎn)生的數(shù)據(jù)將呈指數(shù)級(jí)增長(zhǎng)。面對(duì)如此龐大與異構(gòu)的 數(shù)據(jù)資源，其整合和應(yīng)用問題十分突出。企業(yè)必須有一套完 整的數(shù)據(jù)采集、匯聚與應(yīng)用策略，設(shè)計(jì)通用可靠的數(shù)據(jù)采集 機(jī)制來滿足各方面的數(shù)據(jù)采集需求。本質(zhì)上，數(shù)據(jù)采集的完 整性、準(zhǔn)確性，決定了工業(yè)大數(shù)據(jù)能否真實(shí)可靠地發(fā)揮作用。因此，在設(shè)計(jì)和部署數(shù)據(jù)采集系統(tǒng)時(shí)，建議著重考慮以下要求 ：

(1) 實(shí)用性和通用性。由于技術(shù)的更新?lián)Q代越來越頻繁，需要進(jìn)行科學(xué)的版本管理，并定期更新接口，建議使用統(tǒng)一的數(shù)據(jù)交換規(guī)格來適應(yīng)接口頻繁更新的情況，增強(qiáng)系統(tǒng)的自我調(diào)整和優(yōu)化能力 ；

(2) 數(shù)據(jù)來源的廣泛性。企業(yè)要針對(duì)各類不同的數(shù)據(jù)來源，如生產(chǎn)、銷售、質(zhì)控等數(shù)據(jù)，采用不同的傳感器和接口技術(shù)，支持盡可能多的數(shù)據(jù)源端 ；

(3) 擴(kuò)展性。數(shù)據(jù)采集系統(tǒng)應(yīng)能很好地適應(yīng)設(shè)備的增加，合理地控制和管理工藝系統(tǒng)升級(jí)，其性能瓶頸能通過橫向擴(kuò)展的方式解決。

3.2 數(shù)據(jù)準(zhǔn)確性

采集過程中須確保數(shù)據(jù)準(zhǔn)確、完整地送達(dá)處理層與儲(chǔ)存層，這是工業(yè)大數(shù)據(jù)平臺(tái)的一項(xiàng)重要工作。同時(shí)，為避免增加工業(yè)物聯(lián)網(wǎng)建設(shè)的復(fù)雜度，在不斷擴(kuò)充各類設(shè)備的情況下， 采集技術(shù)不應(yīng)增加基礎(chǔ)建設(shè)的負(fù)擔(dān)，數(shù)據(jù)來源的準(zhǔn)確性應(yīng)由工業(yè)大數(shù)據(jù)平臺(tái)本身進(jìn)行驗(yàn)證。從工業(yè)數(shù)據(jù)的來源進(jìn)行分類，主要包括管理系統(tǒng)、生產(chǎn)系統(tǒng)、外部數(shù)據(jù)等數(shù)據(jù)來源。此外， 從數(shù)據(jù)采集的全面性看，不僅要涵蓋基礎(chǔ)的結(jié)構(gòu)化交易數(shù)據(jù)， 還將逐步包括半結(jié)構(gòu)化的用戶行為數(shù)據(jù)，網(wǎng)狀的社交關(guān)系數(shù)據(jù)，文本或音視頻類型的用戶意見和反饋數(shù)據(jù)，這些數(shù)據(jù)的準(zhǔn)確性應(yīng)在系統(tǒng)中由專門的模塊驗(yàn)證。具體來講，數(shù)據(jù)的準(zhǔn)確性可以通過工業(yè)大數(shù)據(jù)平臺(tái)進(jìn)行循環(huán)驗(yàn)證 ：

(1) 現(xiàn)有傳感器采集的周期性數(shù)據(jù) ；

(2) 企業(yè)管理系統(tǒng)數(shù)據(jù)涵蓋工業(yè)產(chǎn)品中設(shè)計(jì)資料、價(jià)值鏈管理、售后服務(wù)等方面 ；

(3) 與生產(chǎn)經(jīng)營(yíng)相關(guān)的業(yè)務(wù)數(shù)據(jù)主要來源于企業(yè)內(nèi)部的信息化系統(tǒng) ；

(4) 企業(yè)工藝設(shè)備數(shù)據(jù)來源于企業(yè)自動(dòng)化控制程度相對(duì)較高的 DCS，PLC 等系統(tǒng)的感知數(shù)據(jù) ；

(5) 企業(yè)外部數(shù)據(jù)主要來源于互聯(lián)網(wǎng)行業(yè)、市場(chǎng)和競(jìng)爭(zhēng)對(duì)手等。

3.3 數(shù)據(jù)存儲(chǔ)及展示

通常情況下，工業(yè)大數(shù)據(jù)系統(tǒng)應(yīng)根據(jù)應(yīng)用場(chǎng)景采用不同的存儲(chǔ)方案，并滿足以下要求 ：

(1) 實(shí)時(shí)性。采集的數(shù)據(jù)在進(jìn)行預(yù)處理后應(yīng)結(jié)合實(shí)時(shí)顯示技術(shù)展示出產(chǎn)品生產(chǎn)的狀態(tài)，對(duì)于這類數(shù)據(jù)應(yīng)使用在線機(jī)器學(xué)習(xí)或數(shù)據(jù)挖掘技術(shù)進(jìn)行深入挖掘和分析，尋找潛在規(guī)律， 加以處理和利用 ；

(2) 數(shù)據(jù)的高效利用。適應(yīng)海量數(shù)據(jù)的探索和挖掘分析，能夠有效對(duì)生產(chǎn)線中的異常進(jìn)行分析和預(yù)測(cè)，進(jìn)而優(yōu)化參數(shù)、降低生產(chǎn)和管理成本，盡可能消除人為誤判的可能性，進(jìn)而達(dá)到智能化生產(chǎn)和管理的目標(biāo) ；

(3) 數(shù)據(jù)多樣化。工業(yè)大數(shù)據(jù)系統(tǒng)不但能處理各類結(jié)構(gòu)化數(shù)據(jù)，也應(yīng)能支持各類非結(jié)構(gòu)化數(shù)據(jù)，并充分利用在線分析、分布式存儲(chǔ)等技術(shù) ；

(4) 海量存儲(chǔ)能力。考慮到工業(yè)大數(shù)據(jù)的數(shù)據(jù)源較廣，存儲(chǔ)周期較長(zhǎng)，其存儲(chǔ)能力至少應(yīng)達(dá)到 P 級(jí)。

3.4 數(shù)據(jù)挖掘能力

工業(yè)大數(shù)據(jù)的主要目標(biāo)是采集并利用生產(chǎn)、銷售、管理等方面的數(shù)據(jù)，加以建模和處理后，使之能夠適應(yīng)高層的決策與控制。這要求在系統(tǒng)上部署機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等模塊，使之具備完善的學(xué)習(xí)、分類、挖掘等功能。如基于開源Spark 框架上的算法庫(kù) MLlib 和 Graph X 等學(xué)習(xí)模塊，Tensor Flow，Caffe 等深度學(xué)習(xí)模塊，Weka，Matlab 等計(jì)算和挖掘平臺(tái)，其處理模式一般也應(yīng)具備在線和離線兩種類型。

4 結(jié) 語

隨著大數(shù)據(jù)技術(shù)與應(yīng)用的日益廣泛，其在制造企業(yè)信息化過程中越來越重要，數(shù)據(jù)平臺(tái)已是制造企業(yè)工業(yè)大數(shù)據(jù)的聚集和應(yīng)用中心。企業(yè)信息化水平在很大程度上將取決于大數(shù)據(jù)平臺(tái)體系是否完善有效，是否能有效挖掘和應(yīng)用企業(yè)工業(yè)大數(shù)據(jù)。隨著“中國(guó)制造 2025”計(jì)劃的不斷推進(jìn)，企業(yè)的生產(chǎn)經(jīng)營(yíng)將越來越依賴大數(shù)據(jù)技術(shù)。本文對(duì)工業(yè)大數(shù)據(jù)的體系結(jié)構(gòu)進(jìn)行了分析，介紹了其典型結(jié)構(gòu)，為企業(yè)應(yīng)用工業(yè)大數(shù)據(jù)提供了一定參考。