作者 | Tannista
編譯 | 星璇
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
讓ChatGPT準(zhǔn)確回答來自證券交易委員會文件的復(fù)雜問題，可謂是到處都是坑。
先進(jìn)人工智能模型的出現(xiàn)徹底改變了自然語言處理領(lǐng)域，使機(jī)器能夠以越來越高的準(zhǔn)確性和復(fù)雜性來分析、解釋和響應(yīng)人類語言。
然而，盡管這些模型取得了重大進(jìn)步，但一些人工智能助手（例如 ChatGPT）在準(zhǔn)確回答來自證券交易委員會文件的復(fù)雜問題方面仍然面臨挑戰(zhàn)。
Patronus AI的研究人員發(fā)現(xiàn)，即使是性能最好的 AI 模型配置 OpenAI 的 GPT-4-Turbo，在 Patronus AI 的新測試中也只能正確回答 79% 的問題。
1、redis與 LangChain 合作
圖片
Redis與LangChain合作開發(fā)出了Redis RAG模板，該模板經(jīng)過優(yōu)化，可創(chuàng)建事實一致的LLM聊天應(yīng)用程序。通過利用Redis作為向量數(shù)據(jù)庫，該模板確保了快速的上下文檢索和有根據(jù)的提示構(gòu)建，使其成為開發(fā)人員創(chuàng)建聊天應(yīng)用程序的關(guān)鍵工具，提供響應(yīng)和精確的人工智能響應(yīng)。
圖片
Redis RAG 模板是一個 REST API，允許開發(fā)人員與公共財務(wù)文檔（例如 Nike 的 10k 文件）進(jìn)行交互。該應(yīng)用程序使用 FastAPI 和Uvicorn通過 HTTP 處理客戶端請求。它還使用 UnstructedFileLoader 將 PDF 文檔解析為原始文本，使用 RecursiveCharacterTextSplitter 將文本分割成更小的塊，并使用 HuggingFace 中的“all-MiniLM-L6-v2”句子轉(zhuǎn)換器將文本塊嵌入到向量中。此外，它利用 Redis 作為實時上下文檢索的向量數(shù)據(jù)庫，并利用 OpenAI“gpt-3.5-turbo-16k”LLM 來生成用戶查詢的答案。
在最近與AIM的互動中，Redis 首席技術(shù)官Yiftach Shoolman表示：“你的數(shù)據(jù)無處不在，在筆記本電腦上，在 AWS s3 上的組織存儲庫上，在 google 云存儲上，等等。你需要一個平臺將數(shù)據(jù)導(dǎo)入像 Redis 這樣的向量數(shù)據(jù)庫中，根據(jù)相關(guān)知識來進(jìn)行分割”。
2、ChatGPT需要外掛
Shoolman在批評ChatGPT時，他說：“ChatGPT 不知道任何事情，因為它沒有接受你的數(shù)據(jù)訓(xùn)練，并補(bǔ)充說用戶需要在他們剛剛創(chuàng)建的知識庫中查找與其請求相關(guān)的數(shù)據(jù)。
RAG模板提供了可部署的參考架構(gòu)，將效率與適應(yīng)性融為一體，為開發(fā)人員提供了一套全面的選項，以創(chuàng)建事實一致、由法學(xué)碩士支持的聊天應(yīng)用程序，并具有快速響應(yīng)和精確的 AI 響應(yīng)。
LangChain的可部署體系結(jié)構(gòu)中心還包括特定于工具的鏈、LLM鏈和特定于技術(shù)的鏈，這些鏈減少了部署API時的摩擦。
圖片
其中，LangServe是部署這些模板的核心，它使用FastAPI將基于LLM的鏈或代理轉(zhuǎn)換為可操作的REST API，增強(qiáng)可訪問性，并為生產(chǎn)做好準(zhǔn)備。
原文鏈接：https://analyticsindiamag.com/ai-models-revolutionised-the-field-of-natural-language-processing/
