如何縮放RAG并構(gòu)建更精確的LLMS

恢復(fù)增強(qiáng)一代 RAG已經(jīng)成為一種主要的模式,以消除幻覺和其他影響大型語言模型內(nèi)容生成的不準(zhǔn)確。然而,RAP需要圍繞它的正確的數(shù)據(jù)體系結(jié)構(gòu)來有效和高效地?cái)U(kuò)展。數(shù)據(jù)流方法為向LLMS提供大量不斷豐富、可信的數(shù)據(jù)以產(chǎn)生準(zhǔn)確結(jié)果的最佳架構(gòu)奠定了基礎(chǔ)。這種方法還允許數(shù)據(jù)和應(yīng)用程序團(tuán)隊(duì)獨(dú)立工作和規(guī)?；?以加快創(chuàng)新。

基礎(chǔ)性LMS,如GTPT和LMA,接受了大量數(shù)據(jù)的培訓(xùn),通常能夠?qū)V泛的主題做出合理的回應(yīng),但確實(shí)產(chǎn)生了錯(cuò)誤的內(nèi)容。正如福雷斯特最近指出的那樣,公共LLMS"經(jīng)常產(chǎn)生不相關(guān)或完全錯(cuò)誤的結(jié)果",因?yàn)樗麄兊呐嘤?xùn)數(shù)據(jù)側(cè)重于公開的互聯(lián)網(wǎng)數(shù)據(jù)。此外,這些基本LMS完全無視鎖定在客戶數(shù)據(jù)庫、企業(yè)資源規(guī)劃系統(tǒng)、企業(yè)維基和其他內(nèi)部數(shù)據(jù)源中的企業(yè)數(shù)據(jù)。必須利用這些隱藏?cái)?shù)據(jù)來提高準(zhǔn)確性,并釋放實(shí)際業(yè)務(wù)價(jià)值。

RAG允許數(shù)據(jù)團(tuán)隊(duì)將提示與特定領(lǐng)域的公司數(shù)據(jù)實(shí)時(shí)化。有了這個(gè)額外的上下文,LLS更有可能在數(shù)據(jù)中識(shí)別正確的模式,并提供正確的、相關(guān)的響應(yīng)。這對(duì)于流行的企業(yè)使用案例(如語義搜索、內(nèi)容生成或復(fù)制)至關(guān)重要,在這些案例中,輸出必須基于準(zhǔn)確的、最新的信息才能是可信的。

為什么不僅僅訓(xùn)練一個(gè)關(guān)于公司特定數(shù)據(jù)的LLM呢?

目前生成性人工智能的最佳做法往往要求通過培訓(xùn)大量數(shù)據(jù)上的十億節(jié)點(diǎn)變壓器來創(chuàng)建基礎(chǔ)模型,使這種方法對(duì)大多數(shù)組織來說成本過高。比如說,他說?超過1億美元去訓(xùn)練GTP-4。研究和工業(yè)界已開始為小型語言模型和較便宜的培訓(xùn)方法提供有希望的結(jié)果,但這些還沒有被推廣和商品化。對(duì)現(xiàn)有模式進(jìn)行微調(diào)是另一種資源密集程度較低的方法,將來也可能成為一種好的選擇,但這一方法仍然需要大量的專門知識(shí)才能正確。LLMS的好處之一是,他們使對(duì)AI的訪問民主化,但不得不雇傭一個(gè)博士團(tuán)隊(duì)來微調(diào)一個(gè)模型,這在很大程度上否定了這種好處。

RAG是當(dāng)今最好的選擇,但它的實(shí)施方式必須能夠提供準(zhǔn)確和最新的信息,并以一種可以跨應(yīng)用程序和團(tuán)隊(duì)進(jìn)行擴(kuò)展的管理方式。為了了解為什么事件驅(qū)動(dòng)的體系結(jié)構(gòu)最適合于此,我們可以看看四個(gè)熱奈應(yīng)用程序開發(fā)模式。

1.數(shù)據(jù)增強(qiáng)

應(yīng)用程序必須能夠提取相關(guān)的上下文信息,通常是通過使用向量數(shù)據(jù)庫來查找語義相似的信息,通常編碼在半結(jié)構(gòu)化或非結(jié)構(gòu)化文本中。這意味著從不同的操作庫中收集數(shù)據(jù),并將其"分塊"到可管理的部分,從而保留其含義。然后將這些信息塊嵌入到向量數(shù)據(jù)庫中,在那里它們可以與提示符耦合。

事件驅(qū)動(dòng)的體系結(jié)構(gòu)在這里是有益的,因?yàn)樗且环N有效的方法,可以實(shí)時(shí)集成來自整個(gè)企業(yè)的不同數(shù)據(jù)源,提供可靠和可信的信息。相比之下,使用級(jí)聯(lián)批處理操作的更為傳統(tǒng)的ETL(提取、轉(zhuǎn)換、負(fù)載)管道不太適合使用,因?yàn)楫?dāng)信息到達(dá)LLP時(shí),它通常會(huì)失效。事件驅(qū)動(dòng)的體系結(jié)構(gòu)確保在對(duì)操作數(shù)據(jù)存儲(chǔ)進(jìn)行更改時(shí),這些更改會(huì)被轉(zhuǎn)移到將用于上下文化提示的向量存儲(chǔ)中。將這些數(shù)據(jù)組織成流數(shù)據(jù)產(chǎn)品也有助于可重用性,因此這些數(shù)據(jù)轉(zhuǎn)換可以被看作是可組合的組件,可以支持多個(gè)使用LLP的應(yīng)用程序的數(shù)據(jù)增強(qiáng)。

2. Inference

推斷涉及到工程提示和先前步驟中準(zhǔn)備的數(shù)據(jù)和處理來自LOM的響應(yīng)。當(dāng)用戶發(fā)出提示時(shí),應(yīng)用程序從向量數(shù)據(jù)庫或?qū)Φ确?wù)中收集相關(guān)上下文,以生成盡可能好的提示。

像Tg-1這樣的應(yīng)用程序通常需要幾秒鐘的時(shí)間來響應(yīng),這是分布式系統(tǒng)中的永恒。使用事件驅(qū)動(dòng)的方法意味著這種通信可以在服務(wù)和團(tuán)隊(duì)之間異步進(jìn)行。有了事件驅(qū)動(dòng)的體系結(jié)構(gòu),服務(wù)可以按照功能專業(yè)進(jìn)行分解,這使應(yīng)用程序開發(fā)團(tuán)隊(duì)和數(shù)據(jù)團(tuán)隊(duì)能夠分別工作,以實(shí)現(xiàn)其性能和準(zhǔn)確性目標(biāo)。

此外,通過提供分解的、專門的服務(wù)而不是單一的服務(wù),這些應(yīng)用程序可以獨(dú)立地部署和擴(kuò)展。這有助于減少進(jìn)入市場(chǎng)的時(shí)間,因?yàn)樾碌耐评聿襟E是消費(fèi)者群體,并且組織可以模板基礎(chǔ)結(jié)構(gòu)快速實(shí)例化這些。

3. Workflows

推理代理和推理步驟通常被鏈接到序列中,其中下一個(gè)LLM調(diào)用基于以前的響應(yīng)。這在復(fù)雜任務(wù)的自動(dòng)化中是有用的,在這些復(fù)雜任務(wù)中,單個(gè)LRAM調(diào)用將不足以完成流程。將代理分解為調(diào)用鏈的另一個(gè)原因是,當(dāng)我們提出多個(gè)更簡單的問題時(shí),如今流行的LLMS往往會(huì)返回更好的結(jié)果,盡管這種情況正在發(fā)生變化。

下面的示例工作流說明,通過數(shù)據(jù)流平臺(tái),Web開發(fā)團(tuán)隊(duì)可以獨(dú)立于后端系統(tǒng)工程師工作,允許每個(gè)團(tuán)隊(duì)根據(jù)自己的需要進(jìn)行規(guī)?；?。數(shù)據(jù)流平臺(tái)能夠?qū)崿F(xiàn)技術(shù)、團(tuán)隊(duì)和系統(tǒng)的脫鉤。

4. Post-Processing

盡管我們盡了最大努力,LLMS仍然可以產(chǎn)生錯(cuò)誤的結(jié)果,所以我們需要一種方法來驗(yàn)證輸出和執(zhí)行業(yè)務(wù)規(guī)則,以防止這些錯(cuò)誤造成損害。

通常情況下,LLS工作流和依賴項(xiàng)的變化要比決定輸出是否可以接受的業(yè)務(wù)規(guī)則快得多。在上面的例子中,我們?cè)俅慰吹搅伺c數(shù)據(jù)流平臺(tái)脫鉤的很好的應(yīng)用:通過合規(guī)團(tuán)隊(duì)驗(yàn)證LLS輸出,可以獨(dú)立地操作來定義規(guī)則,而不需要與構(gòu)建LOM應(yīng)用程序的團(tuán)隊(duì)進(jìn)行協(xié)調(diào)。

結(jié)論

RAG是一個(gè)強(qiáng)大的模型,可以提高LLMS的準(zhǔn)確性,并使生成的AI應(yīng)用程序在企業(yè)用例中可行。但破布不是銀子彈。它需要被一個(gè)架構(gòu)和數(shù)據(jù)傳遞機(jī)制所包圍,這些架構(gòu)和機(jī)制允許團(tuán)隊(duì)構(gòu)建多個(gè)生成的AI應(yīng)用程序,而不需要重新設(shè)計(jì)車輪,并以符合企業(yè)數(shù)據(jù)治理和質(zhì)量標(biāo)準(zhǔn)的方式進(jìn)行。

數(shù)據(jù)流模型是滿足這些需求的最簡單和最有效的方式,它使團(tuán)隊(duì)能夠釋放LLMS的全部能量,從而為其業(yè)務(wù)帶來新的價(jià)值。隨著技術(shù)成為業(yè)務(wù),人工智能提高了這項(xiàng)技術(shù),那些有效競爭的公司將合并人工智能,以增加和簡化越來越多的流程。