【ITBEAR科技資訊】10月18日消息，英偉達，硬件領域的人工智能巨頭，邁向新的里程碑，推出了一項旨在提升大型語言模型(LLM)性能的軟件工具，適用于本地 Windows PC。英偉達的 GPU 在全球領先科技公司，如微軟和OpenAI的數據中心中發揮重要作用，驅動著Bing Chat、ChatGPT等人工智能服務。TensorRT-LLM庫是英偉達最新的開源工具，原本是為數據中心開發的，現在已經擴展到Windows PC。最引人矚目的特性之一是，如果Windows PC搭載英偉達GeForce RTX GPU，TensorRT-LLM能夠將LLM在該平臺上的運行速度提升至原有速度的四倍。
據ITBEAR科技資訊了解，英偉達在博客文章中詳細介紹了TensorRT-LLM對開發者和終端用戶的潛在益處。在更大的批量大小下，TensorRT-LLM的加速效果顯著，尤其在處理更復雜的LLM任務，如寫作和編碼助手時，能夠同時輸出多個獨特的自動完成結果，從而提高性能和結果質量，讓用戶可以有更多智能的選擇。
文章中還舉例展示了TensorRT-LLM的運作方式。當提問“《心靈殺手 2》集成了NVIDIA的哪些技術?”時，傳統LLM只能給出“游戲尚未公布”的無幫助回答。然而，使用TensorRT-LLM結合RAG模型，將GeForce新聞添加到向量庫中并連接到相同的Llama2模型，不僅能提供正確答案，包括NVIDIA DLSS 3.5、NVIDIA Reflex和全景光線追蹤等技術，而且在TensorRT-LLM的加速下，響應速度更加迅猛，為用戶提供更加智能的解決方案。
TensorRT-LLM預計將很快在英偉達的開發者網站上提供，這將為廣大開發者提供更強大的工具和資源，以更好地利用英偉達的GPU性能。
此外，英偉達還在最新的GeForce驅動更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video Super Resolution功能的1.5版本，能夠在觀看在線視頻時提供更高的分辨率增強效果，減少了壓縮效果。此外，英偉達還為擁有GeForce RTX GPU的用戶增加了TensorRT人工智能加速功能，進一步提升了從人工智能圖片生成器獲取圖像的速度。這一系列的更新將進一步提高用戶體驗，使其受益于英偉達強大的硬件和軟件創新。
