AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？

時(shí)間：2021-10-14 17:06:32

關(guān)鍵字：代碼編寫 AI

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]編譯|禾木木出品|?AI科技大本營（ID:rgznai100）即使是幫助開發(fā)人員編寫軟件的工具也會(huì)產(chǎn)生類似的bug。目前，大部分的軟件開發(fā)人員會(huì)讓AI幫助開發(fā)者們編寫代碼，但是開發(fā)人員發(fā)現(xiàn)AI會(huì)像程序員的代碼一樣還是存有bug。去年6月，提供托管和代碼協(xié)作工具的微軟子公司GitH...

編譯 | 禾木木

出品 | AI科技大本營（ID:rgznai100）

即使是幫助開發(fā)人員編寫軟件的工具也會(huì)產(chǎn)生類似的bug。

目前，大部分的軟件開發(fā)人員會(huì)讓 AI 幫助開發(fā)者們編寫代碼，但是開發(fā)人員發(fā)現(xiàn) AI 會(huì)像程序員的代碼一樣還是存有 bug。去年 6 月，提供托管和代碼協(xié)作工具的微軟子公司 GitHub 發(fā)布了一個(gè)測(cè)試版的程序，該程序使用人工智能來幫助程序員。開始輸入命令、數(shù)據(jù)庫查詢或?qū)?API 的請(qǐng)求，Copilot 的程序?qū)⒉聹y(cè)您的意圖并編寫其余部分。注冊(cè)測(cè)試 Copilot 的生物技術(shù)公司的數(shù)據(jù)科學(xué)家Alex Naka 表示，該程序非常有用，并且改變了他的工作方式?！八屛一ǜ俚臅r(shí)間跳轉(zhuǎn)到瀏覽器來查找 API 文檔或 Stack Overflow 上的示例，”他說?！案杏X有點(diǎn)像我的工作已經(jīng)從代碼生成器轉(zhuǎn)變?yōu)榇a鑒別器?！?/span>但是 Naka 發(fā)現(xiàn)錯(cuò)誤會(huì)以不同的方式滲透到他的代碼中。“有時(shí)我在接受其中一項(xiàng)建議時(shí)會(huì)遺漏某種微妙的錯(cuò)誤，”他說?！岸液茈y追蹤到這一點(diǎn)，也許是因?yàn)樗傅腻e(cuò)誤似乎與我所犯的錯(cuò)誤不同?！?/span>
AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？

AI 生成的代碼錯(cuò)誤可能更高

AI 生成錯(cuò)誤代碼的風(fēng)險(xiǎn)可能高得驚人。紐約大學(xué)的研究人員最近分析了 Copilot 生成的代碼，發(fā)現(xiàn)對(duì)于某些安全性至關(guān)重要的任務(wù)，該代碼大約有 40% 的時(shí)間包含安全漏洞。參與分析的紐約大學(xué)教授 Brendan Dolan-Gavitt 說，這個(gè)數(shù)字“比我預(yù)期的要高一點(diǎn)”。“但 Copilot 的訓(xùn)練方式實(shí)際上并不是為了編寫正確的代碼——它只是根據(jù)給定的提示生成那種文本?！?/span>盡管存在這些缺陷，Copilot 和類似的人工智能工具可能預(yù)示著軟件開發(fā)人員編寫代碼的方式將發(fā)生翻天覆地的變化。人們?cè)絹碓接信d趣使用人工智能來幫助自動(dòng)化更平凡的工作。但 Copilot 也強(qiáng)調(diào)了當(dāng)今人工智能技術(shù)的一些缺陷。
AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？

AI 編碼工具

在分析 Copilot 插件可用的代碼時(shí)，Dolan-Gavitt 發(fā)現(xiàn)它包含一個(gè)受限短語列表。這些顯然是為了防止系統(tǒng)脫口而出冒犯性信息或復(fù)制其他人編寫的知名代碼。GitHub 研究副總裁兼 Copilot 開發(fā)人員之一 Oege de Moor 表示，安全性從一開始就是一個(gè)問題。他表示，紐約大學(xué)研究人員引用的有缺陷代碼的百分比僅與更可能存在安全缺陷的代碼子集相關(guān)。De Moor 發(fā)明了 CodeQL，這是紐約大學(xué)研究人員使用的一種工具，可以自動(dòng)識(shí)別代碼中的錯(cuò)誤。他說 GitHub 建議開發(fā)人員將 Copilot 與 CodeQL 一起使用，以確保他們的工作安全。GitHub 程序建立在 OpenAI 開發(fā)的人工智能模型之上，OpenAI 是一家在機(jī)器學(xué)習(xí)領(lǐng)域從事前沿工作的著名人工智能公司。該模型稱為 Codex，由一個(gè)大型人工神經(jīng)網(wǎng)絡(luò)組成，經(jīng)過訓(xùn)練可以預(yù)測(cè)文本和計(jì)算機(jī)代碼中的下一個(gè)字符。該算法提取了存儲(chǔ)在 GitHub 上的數(shù)十億行代碼用來學(xué)習(xí)如何編寫代碼，但并非全部都是完美的。OpenAI 在 Codex 之上構(gòu)建了自己的 AI 編碼工具，可以執(zhí)行一些令人驚嘆的編碼技巧。它可以將類型化指令（例如“創(chuàng)建 1 到 100 之間的隨機(jī)變量數(shù)組，然后返回其中最大的一個(gè)”）轉(zhuǎn)換為多種編程語言的工作代碼。同一個(gè) OpenAI 程序的另一個(gè)版本，稱為 GPT-3，可以在給定的主題上生成連貫的文本，但它也可以從網(wǎng)絡(luò)上學(xué)到有攻擊性或有偏見的語言。Copilot 和 Codex 已經(jīng)讓一些開發(fā)人員懷疑 AI 是否可以將它們自動(dòng)化。事實(shí)上，正如 Naka 的經(jīng)驗(yàn)所示，開發(fā)人員需要相當(dāng)?shù)募寄懿拍苁褂迷摮绦?，因?yàn)樗麄兘?jīng)常必須審查或調(diào)整其建議。 AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？

結(jié) 語

紐約大學(xué)參與 Copilot 代碼分析的博士后研究員 Hammond Pearce 表示，該程序有時(shí)會(huì)產(chǎn)生有問題的代碼，因?yàn)樗荒芡耆斫庖欢未a想要做什么?！奥┒赐ǔＪ怯捎谌狈﹂_發(fā)人員需要了解的上下文造成的，”他說。一些開發(fā)人員擔(dān)心人工智能已經(jīng)養(yǎng)成了壞習(xí)慣。曾嘗試使用 AI 生成代碼但尚未嘗試使用 Copilot 的軟件開發(fā)人員 Maxim Khailo 表示“作為一個(gè)行業(yè)，我們一直在努力擺脫復(fù)制粘貼解決方案，現(xiàn)在 Copilot 已經(jīng)創(chuàng)建了一個(gè)增壓版本?！?/span>Khailo 說黑客可能會(huì)干擾像 Copilot 這樣的程序?！叭绻沂莻€(gè)壞人，我會(huì)做的就是在 GitHub 上創(chuàng)建易受攻擊的代碼項(xiàng)目，通過在黑市上購買 GitHub 明星來人為地提高它們的知名度，并希望它成為下一輪訓(xùn)練的語料庫的一部分。”GitHub 和 OpenAI 都表示，相反，他們的 AI 編碼工具只會(huì)變得不那么容易出錯(cuò)。OpenAI 表示它會(huì)手動(dòng)和使用自動(dòng)化工具來審查項(xiàng)目和編碼。GitHub 的 De Moor 表示，最近對(duì) Copilot 的更新應(yīng)該降低了安全漏洞的頻率。但他補(bǔ)充說，他的團(tuán)隊(duì)正在探索其他提高 Copilot 輸出的方法。一種是刪除底層 AI 模型從中學(xué)習(xí)的不良示例。另一種可能是使用強(qiáng)化學(xué)習(xí)，在游戲和其他領(lǐng)域產(chǎn)生了一些令人印象深刻的結(jié)果的人工智能技術(shù)，來自動(dòng)發(fā)現(xiàn)不良輸出，包括以前看不見的例子?！罢诎l(fā)生巨大的改進(jìn)，”他說。“幾乎無法想象一年后它會(huì)是什么樣子。” AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？