人工智能技術預測有可能成為現(xiàn)實嗎
自股票從誕生以來,預測未來股價走勢幾乎是每個投資人夢寐以求的超能力。當前,以大數(shù)據(jù)、云計算、人工智能等為代表的新科技正迅速崛起,推動著證券投資的不斷創(chuàng)新和產(chǎn)業(yè)升級,證券投資業(yè)正逐漸從互聯(lián)網(wǎng)時代邁入人工智能時代,也讓我們對預測股價走勢看到了新希望。
股票漲跌為什么難以預測
前兩年,研發(fā)Alphago(阿爾法圍棋)的AlphaBeta公司旗下的DeepMind團隊近期發(fā)表論文,公開其研發(fā)的人工智能交易系統(tǒng)AlphaStock已經(jīng)在中國A股市場潛伏交易三十六個月,在經(jīng)過不斷的自我學習自我進化后,最終凈值虧損呈現(xiàn)不斷擴大的趨勢,且凈值波動區(qū)間和換手率也呈現(xiàn)飆升趨勢??芍^全球最強人工智能鎩羽而歸,揮淚出局。為什么會這樣呢?
近幾年來,讓人工智能實現(xiàn)爆發(fā)式增長的圖像識別、語音識別、自然語言處理等方面的應用,都相對處于閉環(huán)環(huán)境,并且特征明顯、規(guī)則固定,對于機器而言更具邏輯性,所以更容易利用人工智能技術去支持相應場景。但在證券投資領域,影響因素非常多,且隨時發(fā)生變化,這讓邏輯決策與響應過程更加復雜,對人工智能的落地提出了更大挑戰(zhàn)。
股市是一個有反饋的非線性系統(tǒng),而股票的漲跌現(xiàn)象類似一種混沌現(xiàn)象。混沌理論中有一個廣為人知的概念叫做“蝴蝶效應”。蝴蝶翅膀的煽動,導致其身邊的空氣系統(tǒng)發(fā)生變化,并產(chǎn)生微弱的氣流,而微弱的氣流的產(chǎn)生又會引起四周空氣或其他系統(tǒng)產(chǎn)生相應的變化,由此引起一系列連鎖反應,最終導致其他系統(tǒng)的極大變化。股市中存在眾多“蝴蝶效應”的例子,比如,當年奶茶妹妹分手傳聞,莫名其妙的導致天澤信息(300209)跌停了,他們有關系嗎?沒有;當初奧巴馬當選美國總統(tǒng),上市公司澳柯瑪(600336)卻漲停了,又為什么呢?
影響股票漲跌的因素有很多,例如:國際政治及經(jīng)濟環(huán)境、政策的利空利多、大盤環(huán)境的好壞、主力資金的進出、個股基本面的重大變化、個股的歷史走勢的漲跌情況、個股所屬板塊整體的漲跌情況、投資者心里因素等等。這些影響股票漲跌的因素到底有多少? 它們之間會如何影響,這才是問題的關鍵。在某些穩(wěn)定的情況下,我們是可以做大概的預測的,準確度通常并不高,你的模型永遠不可能把所有的因素都考慮進來。而且你也不會知道還會有什么因素會影響股價的波動。一個因素與一個因素之間的互相影響是很可能被預測出來的,但是假如它們之間產(chǎn)生了相互的影響,這時候整個系統(tǒng)就變得幾乎不可精準預測了。
人工智能賦能證券投資
證券投資市場擁有海量、實時數(shù)據(jù),可得性和豐富度都很高,為人工智能的賦能提供了肥沃的土壤。與此同時,證券投資也是極度依賴數(shù)據(jù)驅動決策的,人工智能在賦能和模式創(chuàng)新方面的價值非常明顯。
信息處理能力更強。相比于傳統(tǒng)分析,人工智能可以處理更多的輸入信息,對各類結構和非結構性的數(shù)據(jù)都能輕松處理,能夠考慮的信息面更全,信息量更大,可以達到的預測效果上限更高。從效率上說,人工智能方法可以同時考慮整個市場,從中選出更多的優(yōu)質(zhì)股票,分散投資風險,提供穩(wěn)定的投資回報,并容納更大量的資金。
投資策略更為多樣化。傳統(tǒng)的量化選股模型大多基于靜態(tài),過于僵化并不具備靈活性,而近年興起的線性加權量化模型,由于不同因子間存在多重共線性,模型也非常不穩(wěn)定,同時組合會因為在“小市值”等特征因子上過度的暴露,難以快速適應市場風格切換,導致模型階段性失效。具備“自學”能力的人工智能技術可以自動提煉有效數(shù)據(jù),不斷挖掘全新和獨特的有效因子,優(yōu)化投資組合,以適應不同的市場環(huán)境,提高投資策略的準確性及穩(wěn)定性。
決策中回避人性弱點。從金融交易角度,人工智能帶來的一個巨大的優(yōu)勢是在決策中可以回避人性弱點,例如性格、情感、貪婪、恐懼等因素,始終保持客觀的態(tài)度。對于絕大多數(shù)的普通投資者,市場的波動或多或少會影響人的情緒,進而影響之后的投資決策,使人做出一些錯誤的決定。人工智能則不會受到市場波動的影響,市場的波動只是客觀的數(shù)據(jù),算法會一致地貫徹自己的交易策略。
有效降低各方面成本。相對于傳統(tǒng)方法,人工智能助力證券投資業(yè)的標準化、模型化、智能化,減少了金融風險事件的發(fā)生,同時降低了人工投入成本,極大提高了工作效率;人工智能交易策略或模型的開發(fā)成本雖高,但復制推廣和運營維護成本低。策略的后期維護也只需要修改對應模型參數(shù)或者某個程序模塊,以適應市場的變化;利用智能交易則可輔助交易人員運用智能化交易策略,尋找交易最佳時機,降低交易成本。
表1 傳統(tǒng)方式與應用人工智能后效果比較
人工智能促使預測技術的智能化
股票價格呈現(xiàn)出受多方面因素影響的高度非線性關系,傳統(tǒng)預測方法往往難以把控股價變動的隨機性與規(guī)律性之間的平衡,存在著或多或少的缺陷。而隨著人工智能相關技術的發(fā)展,其強大的數(shù)據(jù)儲存、處理和分析能力為股票行情預測提供了新的思路,將使預測準確度持續(xù)提升。而促使預測技術飛速發(fā)展,從而走上“智能化”之路,機器學習便是重要的功臣之一。
目前用于股票投資的建模模型可分為兩類,一類為傳統(tǒng)生成型類模型,主要包括自回歸滑動平均模型和自回歸異方差模型及它們的衍生擴展模型,但這類模型需要求樣本量越大越好,原始數(shù)據(jù)越完整、越明確越好。但事實上,在實際中,即使有了大樣本量,也不一定找到規(guī)律,即使有了統(tǒng)計規(guī)律也不一定是典型的;另一類為數(shù)據(jù)驅動模型,包括機器學習中的神經(jīng)網(wǎng)絡模型(NN)、支持向量機模型(SVM)、鄰近算法模型(KNN)、決策樹模型等,此類模型對樣本的分布程度和樣本量的要求均較低,能夠在信息資源不完整、不準確等復雜的數(shù)據(jù)環(huán)境下,通過自身結構的調(diào)整,提取數(shù)據(jù)特征,可以借助對數(shù)據(jù)的分析進行非線性智能預測。機器學習模型通過理解復雜且非結構化的數(shù)據(jù),可高效地產(chǎn)生見解及發(fā)現(xiàn)隱藏模式,從而為投資團隊提供有價值的研究思路,并幫助他們獲得信息優(yōu)勢,從而做出更快更好的決策及更精確的預測。例如,“Lasso回歸算法”可以應用于對商品期貨價格進行預測,“Lasso回歸算法”通過加入懲罰因子來增加模型復雜程度,減少了病態(tài)數(shù)據(jù)的干擾。從宏觀層面篩選出可能對商品期貨產(chǎn)生影響的因素,可通過相關性分析找到各解釋變量的滯后窗口,再對期貨價格和變量指標進行模擬訓練和預測;“決策樹模型”可以應用于預測財務造假概率,通過不同程度的決策樹算法學習歷史數(shù)據(jù)的影響因素并得到相關度,最終得到預測財務造假數(shù)據(jù)的模型。
當前,人工智能還處在傳統(tǒng)的弱人工智能( Artificial Narrow Intelligence , ANI)階段,包括深度學習在內(nèi),利用人工智能進行股票投資的過程中必須高度依賴人類對實際問題的建立的模型與算法(見圖1),強烈地依賴于觀測數(shù)據(jù),因而難免帶有偏頗;在不遠的將來,人工智能將進入到強人工智能階段( Artificial General Intelligence , AGI),擁有主動實施行動來分析因果效應的能力,決策就可以不受觀察樣本的束縛,把一些樣本無法反映的事實揭露出來,這種能力使得決策行為更加智能化;未來,隨著人工智能技術的發(fā)展和成熟,將會進入到超人工智能( ArTIficial Superintelligence , ASI)階段,人類甚至有可能制造出真正能進行推理和解決問題的智能機器,并且有自我意識的,預測精準度將會大幅提高。
人工智能正在改變證券投資業(yè)
人工智能可以通過復雜的機器學習、知識圖譜等技術手段較為快速、準確地判斷和預測市場行情,從政策面、基本面、技術面等多維度提升分析準確率。海內(nèi)外各大金融機構都非常重視人工智能,并應用在股票投資中。
在全球范圍內(nèi),幾乎所有頂尖的投行和金融機構均在使用人工智能技術投資的范圍和領域不斷擴大,投資收益和影響不斷增強。以美國金融數(shù)據(jù)分析服務公司Kensho為例,研發(fā)了一種針對專業(yè)投資者的大規(guī)模數(shù)據(jù)處理分析工具Warren,試圖打造成金融業(yè)的“Siri”(蘋果智能語音助手)。Warren可以快速回答接近一億個對股價造成影響的問題,并編制詳細分析報告,大幅提高測試交易策略(back-tesTIng)的效率,它曾成功預言英國脫歐后的英鎊走勢,及2017年美國科技股的強勢上漲。2019年3月7日,高盛推出5只新ETF,完全依賴機器交易和AI算法,擺脫人為主動控制。此次高盛是和MoTIf投資算法公司合作,來確定符合高盛基金經(jīng)理認為的將推動指數(shù)上漲的相關基金主題,比如“金融重塑”和“數(shù)據(jù)驅動世界”等等。早在2017年10月18日,EquBot LLC、ETF Managers Group共同推出了全球第一只應用人工智能進行投資的ETF:AI Powered Equity ETF(AIEQ.US)。這只代碼為AIEQ的基金是一只依據(jù)EquBot獨門算法所打造出來的主動式ETF,利用IBM Watson的認知和大數(shù)據(jù)處理能力去分析美國境內(nèi)的投資機會。據(jù)悉AIEQ通過人工智能的方式來分析和挑選股票,一般只會選取30-70只美國股票,波動性與美股大盤的波動性相當。AIEQ每天分析6000家美國上市公司的數(shù)萬個市場信號和新聞文章(包括上市公司管理狀況,市場情緒、監(jiān)管文件、季度財報、新聞報道、社交媒體帖子等)。值得注意的是,經(jīng)受了2018年的重創(chuàng)之后,2019年AIEQ迅速矯正,奮起直追。AIEQ兩位聯(lián)合創(chuàng)始人Chida Khatua和Art Amador在接受媒體采訪時表示,自2019年以來AIEQ跑贏標普500指數(shù)。
國內(nèi)也有不少券商、金融機構開始嘗試人工智能在金融領域的應用,如工商銀行推出的“AI投”、光大證券推出的“智能魔方”、中信銀行推出的“信智投”等。不過,這些產(chǎn)品還屬于智能投顧或智能交易等范疇,重點在于用更多維度的數(shù)據(jù)了解客戶,用更精準的推薦引擎推薦投資組合、理財產(chǎn)品、風險提示等。
目前,對沖基金及投資銀行等都在爭奪人工智能方面的專家,以期不斷提供預測的準確度,從而規(guī)避風險并獲得高回報。總之,人工智能將提升我們處理信息的深度和廣度,相對來說使用基于人工智能技術的“智能人”,將比不運用或是還在利用“人腦”進行基本面分析與技術分析的人更占信息優(yōu)勢,從而也就更可能在股市中盈利。
從混沌無知到科學認知
眾所周知,天氣變化是個著名的混沌系統(tǒng)。天氣不僅受到各種氣團的影響,而且受到地形、水域狀況等眾多因素的影響,任何隨機的因素變化都可能引起意想不到的天氣變化,因此,天氣預報是一個歷史性難題。但是,隨著科技的進步,天氣預報還是越來越精準。我國商代后期,人們用龜甲和獸骨占卜預測氣象、天象、疾病、生育和戰(zhàn)爭等等,占卜中關于風、雨、水等方面的卜辭可以看作是原始的天氣預報;在殷周時期,我國勞動人民就已經(jīng)總結出許多預測天氣變化的經(jīng)驗。如,《春秋》記載稱,在冬天,當天空中出現(xiàn)滿天一色的陰云即“天上同云”時,則未來要“雨雪雰雰”;當在夏天看到烏云發(fā)展,即“有渰萋萋”時,則將大雨瓢潑,即“興雨祁祁”了。唐朝的《相雨書》中,有更通俗形象的記載:“云逆風而行者,即雨也?!?勞動人民與大自然無數(shù)次的斗爭中,在長期觀測天氣變化的過程中,形成了大量的天氣諺語。這類的經(jīng)驗預報,已具有科學內(nèi)容。在現(xiàn)代氣象學尚未產(chǎn)生的年代,天氣諺語無疑對天氣預報起著很大的作用;今天的天氣預報主要是通過衛(wèi)星、自動觀測站等獲取天氣資料,運用計算機來預報未來天氣。目前天氣預報準確率基本在70-90%,未來隨著氣象技術的發(fā)展,準確率還會進一步提高,在特定區(qū)域的準確度甚至可以無限的接近100%。我們對天氣變化的認知經(jīng)歷了一個從混沌無知到科學認知的過程。
目前,人工智能還處于發(fā)展初期,更擅長于處理某一單個方面的,比如AlphaGo只能下棋,蘋果Siri目前只能作為你的語音助手。以人工智能現(xiàn)在的水平還無法精準預測股票的漲跌,比較可行的方法是采用人機合作的方法。機器擅長進行計算,而不擅長的部分靠人類補充,也就是說人工智能只要負責某些因素之前的預測就好,這些數(shù)據(jù)一定是具有穩(wěn)定性,可以量化、大概率等特點。在未來,隨著我們對混沌現(xiàn)象的全面深入了解和人工智能、量子計算機等相關技術的發(fā)展和成熟,類似股票漲跌這類的混沌現(xiàn)象的預測準確率也會大幅的提高。
總體來說,影響股市漲跌的因素非常多,以現(xiàn)在的認知和科技水平想實現(xiàn)精準的預測股市幾乎是不可能的。而如果你是想在市場中盈利的話,理論上只需高于51%的準確率就可以了。筆者認為,在未來二十年內(nèi),人工智能相關技術在成熟市場中預測股票短線漲幅的準確性有望達到80%,中長線漲幅的準確度也有望超過60%。值得注意的是,如果證券市場內(nèi)的參與者大范圍采用人工智能相關技術進行投資,此前的制勝策略這時可能也將會失效。