F5公司近期宣布，其針對Kubernetes環(huán)境的BIG-IP Next解決方案迎來重要升級，這一創(chuàng)新成果與NVIDIA的BlueField-3 DPU及DOCA軟件框架實現(xiàn)了深度整合，并在歐洲企業(yè)Sesterce的實際應(yīng)用中得到了驗證。此次升級標(biāo)志著F5在應(yīng)用交付與安全領(lǐng)域邁出了堅實的一步。
作為F5應(yīng)用交付與安全平臺的延伸，BIG-IP Next for Kubernetes現(xiàn)能夠直接在NVIDIA BlueField-3 DPU上運行，為大規(guī)模的AI基礎(chǔ)設(shè)施提供了強大的流量管理和安全防護能力。這一特性顯著提升了AI應(yīng)用的運行效率、控制精度及整體性能，為AI技術(shù)的落地應(yīng)用注入了新的活力。
該聯(lián)合解決方案還引入了智能化的路由機制，使得企業(yè)能夠根據(jù)AI任務(wù)的復(fù)雜度，靈活地將任務(wù)分配給不同級別的語言模型。簡單的生成式AI任務(wù)可以被路由到成本更低、更輕量級的LLM模型上，而復(fù)雜的查詢則由性能更強大的高階模型處理。這種定制化的路由策略不僅提升了輸出質(zhì)量，還極大地改善了用戶體驗。F5的流量管理技術(shù)確保了查詢請求能夠精準(zhǔn)地分發(fā)到最合適的模型節(jié)點，從而降低了延遲，加快了首個詞元的生成速度。
NVIDIA早前推出的Dynamo框架，為生成式AI與推理模型在大規(guī)模分布式環(huán)境中的部署提供了強有力的支持。它通過統(tǒng)一調(diào)度、流量路由和內(nèi)存管理等核心功能，簡化了分布式AI推理的復(fù)雜性，確保了系統(tǒng)在動態(tài)工作負(fù)載下的穩(wěn)定運行。F5與NVIDIA的聯(lián)合解決方案的一大亮點，是將部分計算任務(wù)從CPU卸載到BlueField DPU上，從而大幅提升了整體效率。利用F5的技術(shù)，Dynamo KV Cache Manager能夠根據(jù)容量智能地路由請求，并通過鍵值緩存機制，顯著加快了生成式AI應(yīng)用的響應(yīng)速度。這一機制通過復(fù)用歷史計算數(shù)據(jù)，避免了重復(fù)計算，有效降低了資源消耗。
在基礎(chǔ)架構(gòu)層面，企業(yè)通過利用KV緩存的存儲與復(fù)用機制，能夠以更低的成本實現(xiàn)性能優(yōu)化，相比直接占用昂貴的GPU內(nèi)存資源，這一方案無疑更具經(jīng)濟性。在MCP服務(wù)器前端部署F5與NVIDIA的聯(lián)合解決方案，使得F5能夠作為反向代理，增強了MCP解決方案及其所支持的LLM模型的安全性能。F5的iRules提供的全數(shù)據(jù)可編程能力，使得系統(tǒng)能夠快速、靈活地適應(yīng)AI協(xié)議的快速變化，并有效抵御新興的網(wǎng)絡(luò)安全威脅。
