關(guān)鍵字: [symposium, Agenic, Ai基礎(chǔ)平臺構(gòu)建, 知識庫增強, 工具使用能力, 智能體協(xié)作, 安全護欄保護]
本文字數(shù): 1900, 閱讀完需: 10 分鐘
導(dǎo)讀在本次演講中,演講者介紹了Weee!公司如何在亞馬遜云科技專家的支持下,利用兩個月的時間快速構(gòu)建了一個基于AI的智能客服系統(tǒng)。他們首先搭建了一個AI基礎(chǔ)平臺,集成了多種AI能力如工作流編排、知識庫管理、工具調(diào)用等,并引入了安全機制和性能追蹤機制。然后將該平臺與公司的業(yè)務(wù)系統(tǒng)集成,實現(xiàn)了智能客服的自動響應(yīng)、流程標準化和客戶體驗提升。最后,演講者分享了他們對AI智能體的評估方法,包括相似度和質(zhì)量兩個指標,以及結(jié)合客服反饋持續(xù)優(yōu)化模型。
演講精華以下是小編為您整理的本次演講的精華，共1600字，閱讀時間大約是8分鐘。
在亞馬遜云科技的專家團隊的支持下,一位演講者用兩個月的時間快速完成了一個智慧客服項目。他所在的公司于2015年成立,是美國領(lǐng)先的亞裔和西方人的電商平臺,總部位于舊金山灣區(qū),致力于為北美家庭提供新鮮實惠的全球美食。與國內(nèi)的”盒馬生鮮”類似的電商平臺不同,該公司沒有線下店面,只有線下倉儲和物流團隊,建立了一個多元文化融合的平臺,讓不同族裔的人都能在這個平臺上買到自己喜歡的食物和食品。
演講者將分享分為三個部分:構(gòu)建自己的AI基礎(chǔ)平臺;這個基礎(chǔ)平臺和智慧客服項目的應(yīng)用;關(guān)于AI智能體評估的實踐。他回顧了應(yīng)用發(fā)展的歷程,從單體架構(gòu)、CS架構(gòu)、BS架構(gòu),到微服務(wù)架構(gòu),每個階段都提供了相應(yīng)的理念和技術(shù)。但AI大模型的出現(xiàn),特別是”靈夢”大模型和Agent技術(shù)的引入,讓我們需要重新思考架構(gòu)的發(fā)展和演進。
經(jīng)過多輪探討,他們得出了一個名為”Agenic”的AI平臺,依賴于提示詞工程、工具調(diào)用、工作流編排和知識庫增強,通過基礎(chǔ)模型的迭代升級,提供知識能力。這個平臺不再是組件或工具,而是像一個人在企業(yè)中生存,可以賦予它知識讓它成長,它又能像API模型為我們提供能力,回答各種問題。
演講者介紹了”Agenic”的概念,我們都知道AI模型、GPT模型、亞馬遜云科技托管的CloudInc模型,以及Bloom模型等,它們已經(jīng)具備了自我反思和鏈式思考的能力,變得非常強大。但如果只是AI模型加上提示詞工程構(gòu)建的應(yīng)用,很難真正為業(yè)務(wù)賦能。在代碼生成領(lǐng)域,ChatGPT 3.5加上提示詞工程只能解決40%的問題,升級到4.0后能解決60%的問題。但當引入Agenic Workflow這樣的AI智能體概念后,它能解決70%的問題,且僅針對ChatGPT 3.5就能做到。
演講者分享了OpenAI科學(xué)家Lilian關(guān)于Agent定義的圖,認為一個AI智能體需要具備四種能力:規(guī)劃能力、記憶能力(短期和長期)、使用工具的能力,以及與其他Agent交互合作的能力。他們基于此構(gòu)建的AI基礎(chǔ)平臺架構(gòu)分為三層:底層是亞馬遜云科技提供的三大存儲(Amazon S3對象存儲、Amazon ElasticSearch服務(wù)、Amazon RDS關(guān)系數(shù)據(jù)庫服務(wù))等基礎(chǔ)技術(shù);中間層是基于這些存儲打造的AI知識庫、專有詞匯庫、向量數(shù)據(jù)庫(基于OpenSearch)等;最上層是工作流編排、繪畫管理、Prompt管理等八種能力,以及安全護欄(直接引用了Amazon Web Services Byterock中的Gario安全護欄技術(shù))、性能追蹤和質(zhì)量評測等三種邊緣控制力。
演講者還介紹了AI基礎(chǔ)平臺和業(yè)務(wù)系統(tǒng)集成的示例,以及部署架構(gòu)。他著重講解了RAG(Retrieval Augmented Generation)技術(shù),即通過檢索增強技術(shù)來補充AI缺少對企業(yè)知識和現(xiàn)有知識的能力。RAG包括Retrieval(召回)、Re-ranking(重排序)兩個步驟,能夠?qū)崿F(xiàn)高效的向量檢索和多路召回。他們的向量檢測速度能夠小于1秒,包含召回,整個first token的速度能夠小于500毫秒。在多路召回方面,他們使用了傳統(tǒng)的關(guān)鍵詞檢索技術(shù)(權(quán)重0.3)和最新的向量檢索技術(shù)(權(quán)重0.7)的結(jié)合。
在設(shè)計Prompt的原則方面,演講者強調(diào)要根據(jù)不同模型的調(diào)性來設(shè)計Prompt的格式,如使用監(jiān)控號或Markdown格式等。他還提出了Prompt中需要包含的幾個角色節(jié)點,如Role、Instruction、Extraction、Response/Solution等,以引導(dǎo)模型進行鏈式思考和自我反思。
演講者接著分享了他們的智慧客服項目,旨在提升響應(yīng)速度、流程標準化和客戶體驗。在亞馬遜云科技專家的支持下,他們僅用兩個月時間就完成了AI基礎(chǔ)平臺搭建、P1優(yōu)化框架制定、知識庫鏈路制定、Agent測試和性能追蹤框架制定、引入安全護欄,以及基于ByteRock的多模型開發(fā)等工作。有意思的是,整個Agent的設(shè)計完全由產(chǎn)品經(jīng)理一人完成。他們基于整個AI平臺的能力,通過API的形式將其暴露給調(diào)用端,調(diào)用端可以拿到所有AI Agent平臺的能力,以及Agent的管理能力。
演講者分享了一個AI智能體與客服系統(tǒng)集成的示例。當客戶提出”我的訂單什么時候送達?時間已經(jīng)推遲了一個半小時了,還沒有快速開始配送”的問題時,AI智能體經(jīng)過意圖識別、數(shù)據(jù)讀取、知識庫查詢后作出回復(fù):“非常抱歉,給你帶來不便。你的訂單[原因]。你需要登錄XX的app,然后點擊我的已發(fā)貨訂單查看物流。我們已將已經(jīng)將你的問題反饋給了相關(guān)的物流部門,他們會重視這個問題,并努力改善配送效果。”他們的AI平臺不僅可以使用外部工具如天氣預(yù)報、谷歌搜索,還可以使用內(nèi)部提供的工具能力,包括查詢訂單、客戶,甚至取消訂單退款等操作。
他們計劃分三個階段推進AI智能體在客服領(lǐng)域的應(yīng)用:第一階段是客服對AI回復(fù)進行確認;第二階段是AI直接回復(fù)客服郵件和工單;最終階段是推向即時溝通的聊天形式。
最后,演講者探討了AI評估的難點和方式。與傳統(tǒng)的基于斷言的測試不同,AI生成的回復(fù)是抽象的,很難用預(yù)期結(jié)果進行評判。因此,他們引入了相似度和SOP(標準操作程序)質(zhì)量兩個指標:將AI回復(fù)與客服歷史滿意回復(fù)進行相似度對比,并根據(jù)業(yè)務(wù)規(guī)則的SOP列表進行反向打分,再結(jié)合實際客服的點贊點踩,不斷優(yōu)化AI模型。
總的來說,這個項目展示了亞馬遜云科技在AI領(lǐng)域的領(lǐng)先地位,以及AI技術(shù)在企業(yè)級應(yīng)用中的巨大潛力。通過構(gòu)建AI基礎(chǔ)平臺、應(yīng)用于智慧客服等場景,并不斷優(yōu)化評估模型,企業(yè)能夠充分利用AI的強大能力,提升業(yè)務(wù)效率和客戶體驗。
在這個過程中,演講者分享了一個客戶故事。去年平安夜,他忽然想買點東西吃,就開車出去找超市。但發(fā)現(xiàn)很難找到一家開門的超市,因為平安夜所有的超市幾乎都關(guān)門了。好不容易找到一家超市,進去一看,沒有肉蛋奶,沒有柴米油鹽醬醋茶,只有各種咖喱和薯片之類的沒有味道的玉米薄片。這讓他意識到,該公司建立了一個很大的使命,就是建立一個平臺,融合了多種少數(shù)族裔文化,讓各種族裔在一個平臺里能夠買到他喜歡吃的食物和食品。
這個項目中,演講者的團隊還遇到了一個有趣的現(xiàn)象。在做GenAI的鏈接項目時,他們發(fā)現(xiàn)AI永遠不知道今年是今年,也不知道今天是今天。所以你讓它回答”幫我拿一下今年的某某數(shù)據(jù)”,它一定會拿當前年份的數(shù)據(jù),因為它不知道今年是哪一年。你必須在Prompt里寫”你要知道今年是某某年,今天是某某日期”,否則它就會說今年是它訓(xùn)練時的那一年。通過RAG技術(shù),他們能夠幫助AI增強對最新知識的理解能力。
總結(jié)亞馬遜云科技的 AI 出海項目 GenAI 生成式 AI 的探索之旅:
在 亞馬遜云科技 專家的支持下,我們用兩個月時間快速構(gòu)建了一個智慧客服項目,融合了 AI 大模型和傳統(tǒng) AI 技術(shù)。這個項目的核心是一個 AI 基礎(chǔ)平臺,它依賴于提示詞工程、工具調(diào)用、工作流編排和知識庫增強,并具備保護用戶隱私和數(shù)據(jù)安全的能力。該平臺賦予了 AI 智能體規(guī)劃、記憶、工具使用和協(xié)作的能力,有助于更好地服務(wù)多元文化背景的客戶群體。
在智慧客服的應(yīng)用中,我們將 AI 智能體分解為多個小型智能體,以降低風(fēng)險并提高可控性。目前處于第一階段,客服需確認 AI 回復(fù);未來將直接由 AI 回復(fù)郵件和工單,最終實現(xiàn)即時溝通。我們還探索了 AI 評估的新方法,引入相似度和質(zhì)量兩個指標,結(jié)合客服反饋持續(xù)優(yōu)化模型。
總的來說,這個項目展示了 亞馬遜云科技 在 AI 出海領(lǐng)域的創(chuàng)新實踐,為企業(yè)賦能 AI 提供了有益探索。我們期待 AI 技術(shù)的不斷進步,為客戶帶來更優(yōu)質(zhì)的服務(wù)體驗。
亞馬遜云科技（Amazon Web Services）是全球云計算的開創(chuàng)者和引領(lǐng)者。提供200多類廣泛而深入的云服務(wù)，服務(wù)全球245個國家和地區(qū)的數(shù)百萬客戶。亞馬遜云科技致力于成為企業(yè)構(gòu)建和應(yīng)用生成式AI的首選，通過生成式AI技術(shù)棧，提供用于模型訓(xùn)練和推理的基礎(chǔ)設(shè)施服務(wù)、構(gòu)建生成式AI應(yīng)用的大模型等工具、以及開箱即用的生成式AI應(yīng)用。深耕本地、鏈接全球 – 在中國，亞馬遜云科技通過安全、穩(wěn)定、可信賴的云服務(wù)，助力中國企業(yè)加速數(shù)字化轉(zhuǎn)型和創(chuàng)新，并深度參與全球化市場。
