神經(jīng)網(wǎng)絡(luò)+量子計(jì)算機(jī)？華人學(xué)者開源首個(gè)量子計(jì)算協(xié)同設(shè)計(jì)框架

近日，由圣母大學(xué)姜煒文博士后，史弋宇教授和 IBM 研究院 Jinjun Xiong 博士開展的研究，實(shí)現(xiàn)了首個(gè)機(jī)器學(xué)習(xí)和量子計(jì)算協(xié)同設(shè)計(jì)框架，QuantumFlow，為神經(jīng)網(wǎng)絡(luò)在量子計(jì)算機(jī)上的實(shí)現(xiàn)鋪平了道路。

QuantumFlow 框架能夠自動(dòng)地完成神經(jīng)網(wǎng)絡(luò)到 IBM 量子計(jì)算機(jī)的部署。

原文鏈接: https://arxiv.org/pdf/2006.14815.pdf

神經(jīng)網(wǎng)絡(luò)加速迎來新玩家

量子計(jì)算機(jī)是一種使用量子邏輯進(jìn)行通用計(jì)算的設(shè)備，使用量子比特進(jìn)行數(shù)據(jù)存儲(chǔ)，使用量子算法來進(jìn)行數(shù)據(jù)操作。

量子計(jì)算研究可以追溯到 19 世紀(jì) 60 年代，在 2016 誕生了首臺(tái)可編 程量子計(jì)算機(jī)。IBM 于 2019 年 1 月展示了商業(yè)化量子計(jì)算機(jī) IBM Q，并預(yù)測將于 20 世紀(jì) 20 年代獲得量子優(yōu)勢:針對真實(shí)的應(yīng)用場景，展現(xiàn)出量子計(jì)算超越經(jīng)典計(jì)算的能力。

圖 1: 量子優(yōu)勢之路:從 19 世紀(jì) 60 年代的量子科學(xué)，2016 年進(jìn)入量子準(zhǔn)備階段，20 世紀(jì) 20 年代將進(jìn)入量子優(yōu)勢階段以利用量子計(jì)算機(jī)解決實(shí)際問題 (Source: IBM)

圖 2: 神經(jīng)網(wǎng)絡(luò)硬件加速器迎來新成員:量子計(jì)算機(jī)

深度神經(jīng)網(wǎng)絡(luò)是當(dāng)下計(jì)算應(yīng)用中發(fā)展最快，使用最廣的機(jī)器學(xué)習(xí)算法。如圖2所示，深度神經(jīng)網(wǎng)絡(luò)加速器，已經(jīng)在通用處理器(CPU,GPU)以及專用加速器(FPGA，ASIC)上得到廣泛研究。

然而，隨著應(yīng)用不斷復(fù)雜化導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)不斷擴(kuò)大，存儲(chǔ)性能瓶頸已逐漸凸顯。在傳統(tǒng)計(jì)算平臺(tái)上，N 個(gè)數(shù)字比 特只能表示 1 個(gè) N 位數(shù)據(jù)，然而在量子計(jì)算中，M 個(gè)量子比特卻同時(shí)能表示 2^M 個(gè)數(shù)據(jù)，并能同時(shí)操作這些數(shù)據(jù)。

量子計(jì)算機(jī)如此強(qiáng)大的存儲(chǔ)與計(jì)算能力，使其擁有巨大潛能打破神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)計(jì)算平臺(tái)上的性能瓶頸，獲取量子優(yōu)勢。

首個(gè)量子計(jì)算協(xié)同設(shè)計(jì)框架，讓你的神經(jīng)網(wǎng)絡(luò)飛起來

如何在深度學(xué)習(xí)領(lǐng)域獲取量子優(yōu)勢還面臨諸多挑戰(zhàn)，其中第一個(gè)障礙便是缺少一個(gè)協(xié)同設(shè)計(jì)神經(jīng)網(wǎng) 絡(luò)與量子線路的自動(dòng)化工具。

現(xiàn)有工作或是嘗試直接將針對傳統(tǒng)計(jì)算系統(tǒng)設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)映射到量子計(jì)算機(jī)，或是直接設(shè)計(jì)量子神經(jīng)網(wǎng)絡(luò)。

然而這樣的獨(dú)立設(shè)計(jì)很難發(fā)揮量子計(jì)算機(jī)的優(yōu)勢(例如實(shí)數(shù)乘法會(huì)引入過多量子比特，帶來巨大開銷)。根本原因是缺乏一個(gè)協(xié)同設(shè)計(jì)的工具，該工作填補(bǔ)了這一空白，提出了第一個(gè)神經(jīng)網(wǎng)絡(luò)/量子計(jì)算協(xié)同設(shè)計(jì)框架，QuantumFlow。

圖3 QuantumFlow 協(xié)同設(shè)計(jì)框架

如圖 3所示，QuantumFlow 框架包括四個(gè)組件：

網(wǎng)絡(luò)模型設(shè)計(jì)器 QF-Net:其利用隨機(jī)變量對輸入實(shí)數(shù)數(shù)據(jù)進(jìn)行表示，能夠自然地利用量子狀態(tài)進(jìn)行表示，并實(shí)現(xiàn)隨機(jī)變量的運(yùn)算。該設(shè)計(jì)器提出了便于量子線路實(shí)現(xiàn)的基本運(yùn)算操作，包括向量的線性、非線性運(yùn)算與批標(biāo)準(zhǔn)化操作。

量子線路設(shè)計(jì)器 QF-Circ:針對 QF-Net 中每一個(gè)運(yùn)算操作，設(shè)計(jì)了對應(yīng)的量子線路實(shí)現(xiàn)。

前向反向傳播器 QF-FB:提供在傳統(tǒng)計(jì)算平臺(tái)高效的前向后向傳播實(shí)現(xiàn)，以為支持高效地 QF-Net 模型訓(xùn)練。

網(wǎng)絡(luò)映射 QF-Map:根據(jù)依靠 QF-FB 訓(xùn)練得到的 QF-Net 模型，將首先進(jìn)行網(wǎng)絡(luò)-線路映射，建立 QF-Net 對應(yīng)的量子線路 QF-Circ;進(jìn)而進(jìn)行虛擬-物理量子比特映射，部署 QF-Net 到量子計(jì) 算機(jī)。在進(jìn)行虛擬-物理量子比特映射時(shí)，將考慮量子計(jì)算機(jī)的錯(cuò)誤率，以提高模型精度。

基于 QF-FB 在傳統(tǒng)計(jì)算機(jī)上的模擬結(jié)果展示了 QF-Net 的有效性。如圖 4所示，針對量子計(jì)算設(shè)計(jì)的 QF-Net 獲取比具有相同結(jié)構(gòu)的針對傳統(tǒng)計(jì)算系統(tǒng)的多層感知器 MLP(C) 更高的精度。

圖 4: QF-Net 在 MNIST 數(shù)據(jù)集子集:{3,6}, {3,8}, {1,3,6}，上獲取最高精度

具有批標(biāo)準(zhǔn)化操作的 QF-Net(w/ BN) 在識(shí)別數(shù)字 3，6 中獲得 97.01% 的準(zhǔn)確率，比現(xiàn)目前最新的針對量子計(jì)算設(shè) 計(jì)的 FFNN 網(wǎng)絡(luò)，提升了 14.55% 的準(zhǔn)確率。

圖 5展示了一個(gè)二值分類示例。QuantumFlow 通過 QF-FB 訓(xùn)練得到網(wǎng)絡(luò)如圖 5(b) 所示，根據(jù) QF-Map，將 QF-Net 首先映射到 QF-Circ 上，如圖 5(C) 所示，進(jìn)而根據(jù) IBM 量子計(jì)算機(jī) ibmq_essex 的錯(cuò)誤率 (圖 5(d))，QF-Map 將 QF-Net 映射到物理量子比特上，并對 100 組輸入數(shù)據(jù)進(jìn)行分類。在量子計(jì)算機(jī)上所獲取的結(jié)果如圖 5(h) 所示。

圖 5: 二值分類示例，在 IBM 包含 5 個(gè)量子比特的量子計(jì)算機(jī) “ibmq_essex” 上，獲取了 82% 的精度。

圖 5(e) 展示了有 QF-FB 在傳統(tǒng)計(jì)算系統(tǒng)上獲得的標(biāo)準(zhǔn)結(jié)果，圖 5(f) 展示了使用 IBM Qiskit Aer 模擬進(jìn)行 QF-FB 的結(jié)果，其準(zhǔn)確度達(dá)到 98%。而圖 5(g) 展示了不采用 QF-Map 而采用 IBM Qikist 自帶編譯器進(jìn)行映射所得到的結(jié)果，正確率僅為 68%。最后，使用 QF-Map 可以將正確率提升至 82%。

該實(shí)驗(yàn)展示了量子計(jì)算實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的可能性，盡管 IBM 量子計(jì)算機(jī)的錯(cuò)誤率在 10^−2 量級(jí)(相較于數(shù)字電路的 10^−15 錯(cuò)誤率)，通過 QuantumFlow 協(xié)同設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)量子計(jì)算系統(tǒng)已經(jīng)能夠?qū)?shù)據(jù)進(jìn)行有效地分類處理。結(jié)果展示了 QuantumFlow 的有效性。

QuantumFlow 將于近期開源，詳細(xì)信息請關(guān)注 https://wjiang.nd.edu/categories/qf/。

作者簡介

論文第一作者姜煒文目前是圣母大學(xué)的博士后研究助理。2019年獲重慶大學(xué)博士學(xué)位。2017年到2019年，曾在匹茲堡大學(xué)電子和計(jì)算機(jī)工程系參與研究工作。

博士期間，姜煒文在國際會(huì)議和主要期刊上發(fā)表了50多篇研究論文，其中包括10多篇 IEEE/ACM 會(huì)刊論文，他在硬件加速和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方面的合作研究獲得了 DAC’19，CODES+ ISSS’19和 ASP-DAC’20最佳論文提名。

他在神經(jīng)網(wǎng)絡(luò)和并行系統(tǒng)等方面的研究工作引起了業(yè)界的廣泛關(guān)注，得到了美國國家科學(xué)基金會(huì)國際自然科學(xué)聯(lián)合會(huì)的科研基金，與 Facebook、 Edgecortix inc. (日本/新加坡)等公司開展了合作研究，并在過去一年中，獲得了超過$250K的研究基金資助。

姜煒文曾在2015年「NVMSA」及2017年「ICCD」中獲得兩項(xiàng)最佳論文獎(jiǎng)，并在2016年「 ASP-DAC 」、2019年「 DAC 」、2019年「 CODES+ISSS 」及2020年「 ASP-DAC 」中獲得四項(xiàng)最佳論文提名。

深度學(xué)習(xí)的進(jìn)步很大程度上依賴算力，而現(xiàn)在傳統(tǒng)硬件的算力增長已經(jīng)趕不上超級(jí)人工智能的需求，如果神經(jīng)網(wǎng)絡(luò)能無縫遷移到量子計(jì)算機(jī)，像數(shù)據(jù)從CPU移到GPU中一樣，將是人工智能科學(xué)家們的福音。