用AI預(yù)測未來靠譜嗎?研究4000個(gè)家庭后得到答案
我們的人生軌跡可能受家庭、社會(huì)、時(shí)代影響,也因大大小小的決定被改變。我們無法預(yù)知的未來,AI 可以準(zhǔn)確地預(yù)測嗎?
來自普林斯頓大學(xué)、加州大學(xué)洛杉磯分校、麻省理工學(xué)院、弗吉尼亞理工大學(xué)等機(jī)構(gòu)的 160 個(gè)研究小組參與了“脆弱家庭挑戰(zhàn)賽”(Fragile Families Challenge),通過建立統(tǒng)計(jì)和機(jī)器學(xué)習(xí)模型,試圖預(yù)測、衡量美國各地兒童、父母及其家庭的人生軌跡,尋求上述問題的答案。
當(dāng)?shù)貢r(shí)間 2020 年 3 月 30 日,這一挑戰(zhàn)賽的研究成果在線發(fā)表于《美國國家科學(xué)院院刊》,論文題為 Measuring the predictability of life outcomes with a scientific mass collaboration(通過科學(xué)合作探究人生軌跡的可預(yù)測性),合著者多達(dá) 112 位。
來自 4000 余個(gè)家庭的大樣本數(shù)據(jù)集
實(shí)際上,探究人生軌跡,更像是一個(gè)社會(huì)學(xué)問題。這不僅僅是預(yù)測未來那么簡單,它在提供家庭援助、了解社會(huì)僵化程度、改善相關(guān)政策方面都有一定的參考意義。
這一研究基于一個(gè)名為“脆弱家庭與兒童健康研究”(Fragile Families and Child Wellbeing Study)的高質(zhì)量出生隊(duì)列數(shù)據(jù)集—;—;由社會(huì)科學(xué)家 15 年來收集的大樣本數(shù)據(jù)集,包含來自 4000 多個(gè)家庭的 1.3 萬個(gè)數(shù)據(jù)點(diǎn)。
研究人員對(duì)出生于 1998-2000 年間美國大城市的兒童進(jìn)行了研究,其中未婚父母所生兒童的占比較大。不難看出,這一縱向研究的目的也在于了解出生在未婚家庭的孩子的生活。
具體來講,隨著孩子年齡的增長,相關(guān)數(shù)據(jù)總共收錄了 6 個(gè)階段的情況—;—;小孩剛出生時(shí)、1 歲、3 歲、5 歲、9 歲和 15 歲。
值得一提的是,每個(gè)年齡段數(shù)據(jù)收集的范圍不同。比如,孩子剛出生時(shí),僅僅收集父母的調(diào)查訪談信息;孩子 9 歲時(shí),需要對(duì)父母、孩子的主要照顧者(如果不是父母的話)、老師和孩子自己都進(jìn)行調(diào)查訪談,進(jìn)而收集信息(如下圖)。
此外,針對(duì)不同年齡段,研究人員對(duì)數(shù)據(jù)的關(guān)注方向不一。
例如,孩子剛出生時(shí),對(duì)母親的采訪主要涉及兒童健康與發(fā)展、父母關(guān)系、父親身份、父母對(duì)婚姻的態(tài)度、與家人的關(guān)系、環(huán)境和政策因素、健康狀況、人口特征、教育程度、就業(yè)及收入情況;而在孩子 9 歲時(shí),對(duì)孩子本人的采訪主要涉及的話題有父母關(guān)系、父母的要求及督促孩子的情況、與兄弟姐妹的關(guān)系、日常生活、在校情況、青少年犯罪傾向、任務(wù)完成和行為表現(xiàn)及健康、安全狀況。
脆弱家庭挑戰(zhàn)賽
實(shí)際上,這一名為“脆弱家庭挑戰(zhàn)賽”的項(xiàng)目可以說是一款游戲—;—;游戲開發(fā)者是項(xiàng)目組織者,玩家是參與進(jìn)來的各個(gè)研究團(tuán)隊(duì)。
而游戲設(shè)定是,項(xiàng)目組織者不公開上述家庭中孩子們 15 歲時(shí)的數(shù)據(jù),各個(gè)研究團(tuán)隊(duì)可利用任意的 AI 模型高能玩法準(zhǔn)確預(yù)測孩子們 15 歲時(shí)的人生發(fā)展。開發(fā)者為玩家提供了 6 種衡量維度,如孩子們的平均學(xué)習(xí)成績、孩子們的毅力、家庭經(jīng)濟(jì)水平、孩子的主要照顧者的工作和接受培訓(xùn)情況等,玩家需要預(yù)測其中的至少一個(gè)維度。
如下圖,這一研究的背景數(shù)據(jù)包括來自 4242 個(gè)家庭的孩子剛出生時(shí)、1 歲、3 歲、5 歲和 9 歲時(shí)的共 12942 個(gè)變量。而訓(xùn)練數(shù)據(jù)即是孩子們 15 歲時(shí)的 6 種人生軌跡。
實(shí)際上,這一游戲設(shè)計(jì)思路正是計(jì)算機(jī)科學(xué)領(lǐng)域常用的一種研究設(shè)計(jì)方法「共同任務(wù)法」。
雷鋒網(wǎng)了解到,項(xiàng)目組織者收到了來自全球 68 所大學(xué)的 457 份申請(qǐng),最終這一項(xiàng)目由全球 160 個(gè)研究小組協(xié)同開展。挑戰(zhàn)賽于 2017 年 3 月 5 日至 2017 年 8 月 1 日展開,參與者只要將預(yù)測結(jié)果上傳至挑戰(zhàn)賽官網(wǎng)即可。
脆弱家庭挑戰(zhàn)賽官網(wǎng)
在脆弱家庭挑戰(zhàn)賽結(jié)束后,組織者將 160 個(gè)團(tuán)隊(duì)的結(jié)果進(jìn)行分析比較,發(fā)現(xiàn)各團(tuán)隊(duì)使用了不同的數(shù)據(jù)處理、統(tǒng)計(jì)學(xué)習(xí)等技術(shù)來生成預(yù)測,雖然各個(gè)團(tuán)隊(duì)得到的預(yù)測結(jié)果之間相差不大,但各預(yù)測結(jié)果普遍與真實(shí)情況差距較大,即便是最準(zhǔn)確的預(yù)測結(jié)果也與訓(xùn)練數(shù)據(jù)的實(shí)際情況存在不小的差距。
如下圖,研究團(tuán)隊(duì)對(duì)家庭經(jīng)濟(jì)水平、孩子們平均學(xué)習(xí)成績的平均預(yù)測準(zhǔn)確度在 0.2 上下浮動(dòng),而對(duì)其他幾種維度的預(yù)測準(zhǔn)確度平均約 0.05(雷鋒網(wǎng)注:值越接近 1,吻合程度越高;越接近 0,則吻合程度越低)。
當(dāng)然不可否認(rèn)的是,各團(tuán)隊(duì)對(duì)部分預(yù)測也是準(zhǔn)確的,比如具體某個(gè)孩子的學(xué)習(xí)成績。
目前看來,我們可以回答文章開頭的那個(gè)問題了—;—;AI 并不能很準(zhǔn)確地預(yù)測人生軌跡。
這一結(jié)論對(duì) AI 模型在刑事司法、兒童保護(hù)服務(wù)等場景的應(yīng)用帶來了啟示,同時(shí)社會(huì)學(xué)家、數(shù)據(jù)科學(xué)家今后也應(yīng)謹(jǐn)慎使用 AI 預(yù)測模型。正如普林斯頓大學(xué)和哥倫比亞大學(xué) “脆弱家庭與兒童健康研究”首席研究員 Sara McLanahan 所說:結(jié)果令人大開眼界,要么運(yùn)氣在我們的生活中扮演著重要角色,要么我們作為社會(huì)科學(xué)家在研究中忽略了一些重要變量。