像GPT這樣的「大型語言模型」(以下稱LLM),一直存在一個很大的問題,就是會「胡言亂語」(不懂裝懂),吐出錯誤的文字內容。RAG(Retrieval Augmented Generation,檢索增強生成)提供技術上的方法,在向LLM下Prompt(指令,亦稱咒語)之前,可基於當下情境的需要,即時查詢相關正確的資料,一起放入Prompt,讓大型語言模型基於這些參考資料繼續做文字產生,大幅增加結果的正確性。
RAG的好處,除了可以正確查找即時資料外,也讓大型語言模型在不需要重新訓練參數的狀態下,就能較準確地回答某個專精領域的問題。
做為一個創業者,我看到RAG快速遍地開花,在很多領域產生了很好的應用。而台灣,還有足夠多的空間,可以容納這個領域的新創公司產生。
RAG如何創造創業機會?
如果LLM能完全成為全世界所有知識的通才,企業和個人直接使用,來回答商業、會計、行銷、業務的問題就好了,新創小公司會很難在中間找到機會。但正因事實並非如此,LLM在各單一領域的錯誤率仍然非常高,造就新創公司出現解決各領域問題的機會。
RAG只要在下Prompt前做即時的資訊查找,不需要新創花大量時間和金錢來訓練模型。站在巨人的肩膀,一直是我覺得最好的創業方式。利用RAG,企業只需要搜集該領域相對少量的正確資訊,就能讓LLM在某個領域變得更聰明。
這,就是我近期看到少數低成本的好創業機會。
RAG的潛在創業方向
有大量「參考資料」的領域,可能都是RAG不錯的創業方向。RAG最直覺的應用常是「客服系統」,企業可以把Q/A這些資訊,當做RAG的參考文件,來產生回答正確內容的客服機器人,是許多企業想到最直覺的應用。
除了客服機器人外,其實RAG還有許多應用,以下是一些情境上的想像:
1.務相關應用:企業財報這些即時的內容,一般都不在大型語言模型的訓練資料裡,如果詢問大型語言模型,某個公司Q3 的某個財務比例,以及解釋背後的意涵,實務上並不實際,但如果透過RAG搭配即時訊息,LLM有機會做很好的處理。
2.法律相關應用:大型語言模型的訓練資料,雖然可能包含網路上很多法條和判例,但這些內容並不即時,LLM也難以判斷哪些是最新法條。如果在使用者遇到法律問題時,能透過RAG取得最新的法條和判例,再讓LLM產生答案,正確率應該會高很多。
3.教育相關應用:LLM被訓練成所有文字產生的通才,對於某個年級、某個科目(例如國二理化)雖可能涵蓋其中,但當你問他一個科學問題,他可能會用回答大學生的方式來回答國二學生。如果能透過RAG,讓LLM在回答國二學生問題前,先「讀」一下國二理化的內容,回答的口吻和正確率都會高出許多。
4.藝術相關應用:雖然直接在Prompt輸入指令,可以部分引導圖片或文字產生「風格」,但往往還是很難讓作品帶有作者的個性化。如果能讓LLM在生成前,先去「復習」一段作者過去的作品,再指導他依類似的風格產生圖文,最後的結果應該會更貼近作者的風格。RAG可能提供LLM創作上更客製化的方向。
各行各業都能找到應用情境
以上的應用可以有無數列舉,幾乎各行各業都可以找到RAG的應用情境。LLM解決了很多問題,但也創造出許多創業機會,透過RAG,讓新創企業可以針對在特定領域,讓LLM變得更聰明。
雖然RAG還有許多限制,也無法100%解決LLM胡言亂語的問題,但因為正確率大幅增加,不論基於這樣的技術,開發B端(企業)或C端(個人)的產品,都存在有不錯的創業機會。
本文章反映作者意見,不代表《遠見》立場
(作者為拍拍圈科技共同創辦人)