AI蓬勃發展了三年,想必大家已經很熟悉目前交談式的AI相關應用,但如果你侷限的是某些領域以及非公開的知識庫查詢,需要餵資料進去資料庫,讓LLM來針對這個非公開的知識庫做問答,那你就可以考量RAG這個檢索增強生成的AI技術來達成這個目標。
RAG是做LLM前置的資料處理跟檢索處理,可分為幾個階段:1.Loading:將文本資料讀進來,如word、pdf、excel、csv,甚至是特殊自定附檔名的檔案讀取進來。
2.Indexing:將文本資料做向量化格式的處理,向量化是為了之後LLM AI計算與結果的重要row data,把文本切成document,再重document切成node之向量式資料。
3.Storing:把document之各個node向量資料,存進去向量式資料庫如chroma裡的過程。
4.Querying:把向量資料重DB存取出來後,交給LLM做最後運算以及結果的呈現階段。
以上是RAG+LLM的結合應用步驟,如此一來,可以把公司或是個人的相關知識資料,用這樣的過程,來做AI相關的搜尋與回應的應用,這樣就可以客製個人或是公司的應用AI,就像是自己專業的客服機器人,能回應自己相關重要繁多的資料,成為每個人或是公司團體得力幫手。























