聲明：本文來自于微信公眾號硅星人Pro（ID：Si-Planet），作者：苗正，授權轉載發布。
這兩天國內外人工智能圈子都在熱議Groq:這個硅谷公司的產品基于自研芯片可以做到在大模型推理時每秒處理將近500個token。
500個token什么概念，大概就是一句話的響應時間只需要不到2秒，如此這般的文字生成速度，甚至比翻譯軟件還快。當我們習慣了看GPT們慢悠悠的吐出答案時，第一次使用它看到那大模型生成的答案突突突的往外噴，或是更短的答案瞬間生成就像打開一個網頁一樣的快的時候，確實會驚的呆住一下。
目前它的官網（groq.com）提供免費的試用，沒有用過的可以感受一下。你也可以在Poe上免費體驗Groq:https://poe.com/Mixtral-8x7b-Groq 。
它一時間被冠以game changer的地位，被人們形容為即將干翻英偉達的存在。
如何實現的?
在對Groq的討論里有人把它叫做大模型，有人叫它芯片，它自己叫自己LPU。這些眼花繚亂的形容讓人很好奇，它到底是個啥，這么逆天的速度又是如何實現的?
根據Groq此前發布的論文，它的核心技術其實是一個名叫TSP的微架構設計，全稱叫做張量流處理器，Tensor Streaming Processor，TSP。一句話概括這個微架構，TSP通過獨特的功能切片設計、確定性執行以及軟件定義的方法來實現高性能和高效率的張量計算。
所謂微架構，指的是計算機處理器內部的設計和實現細節，微架構決定了處理器如何執行指令集架構（ISA）定義的指令。由微架構組成的產品才叫做處理器。(Groq成立于好幾年前，直到大模型出來的今天它才想出了LPU，語言處理器單元這么個名字。)
那這個獨特的“功能切片”又是怎么回事呢?
其實TSP的核心思想是將傳統的多核處理器組織結構進行功能切片重組，并圍繞張量計算這一抽象概念構建。TSP的內存單元與向量和矩陣深度學習功能單元是交織在一起的，充分利用深度學習操作的數據局部性。基于此，TSP的優勢就變成了發掘機器學習負載中固有的各種并行性，包括指令級并行、內存并發、數據并行和模型并行，并通過消除硬件中的所有反應式元素來確保確定性執行。
那光有微架構肯定不行，你要把這個微架構做成服務器能用的產品才行。于是Groq就想到了把TSP變成專用集成電路，也就是ASIC。ASIC的特點在于特定的應用或算法進行了高度優化，以實現最佳性能、最低功耗和最小面積等目標。由于它們專門用于執行一種或一組相關任務，因此在完成這些任務時往往比非定制化的芯片更高效。
Groq公司設計的第一款TSP ASIC實現了超過每平方毫米硅片1萬億次操作/秒的計算密度，在900MHz的標稱時鐘頻率下，這款25×29mm的14nm芯片運行時表現卓越。在ResNet50圖像分類任務上，TSP能夠在批次大小為1的情況下達到每秒處理20.4K張圖片的速度，相較于現代GPU和其他加速器，性能提升了4倍。而Groq也因此確定了最終的產品形態——LPU（語言處理器單元）。
TSP的關鍵創新在于其將傳統二維核網格組織形式重新劃分為按功能切分的瓦片布局，其中每個瓦片專門執行特定功能，并在垂直方向上堆疊形成“切片”。TSP使用流處理模型進行張量計算，空間上根據函數排列計算元件以利用張量流動過程中的數據流局部性優勢。
估計你讀到這里就會發現“好像缺了點啥”。
無論是英偉達的H200也好，還是谷歌的TPU也好，他們運行大模型的方法絕對不是僅靠一張卡來實現的。而TSP也是如此，每個TSP提供220MB的本地存儲，并且當TSP數量增加時，它們共同貢獻的全球內存容量也隨之擴大，物理上分散但邏輯上共享的SRAM芯片內存在整個系統中構成了分布式全局內存。
那么為了將這些個TSP組織在一起，Groq又設計了一個Dragonfly網絡。這個網絡采用多級層次化結構，其核心思想是將整個系統分割成多個子組，并通過幾個層次的路由器連接這些子組。這種設計可以提供高的帶寬容量，特別是對于跨節點間的全局通信，確保了在整個系統規模擴大時，每個TSP仍能保持相當水平的帶寬接入。Dragonfly網絡致力于減少網絡直徑，即從任意一個端點到另一個端點所需經過的最小跳數。較小的網絡直徑意味著更低的通信延遲，這對于要求實時響應和緊密同步的機器學習任務至關重要。
如果你想更簡單粗暴的理解它，有人用了一個比喻，就是在一個交通復雜的城市里，LPU收集了所有人早上上班的方向，然后用軟件來決定紅綠燈，關掉了一條路上所有的交通燈讓所有同一方向的車子在這條路上只管往前開。那當然快多了。
可用性如何?
我們也抱著好奇心嘗試了一下，。我向Groq和ChatGPT提了同一個問題，關于奧威爾一部著名小說里的一個具體意向的涵義。
對比可以看到，Groq的回答比較簡單，無法挖掘書中所代表的更深的復雜的意味。而ChatGPT可以回答出更深層次的宿命意味的解讀，而且有意思的是，作為慕名而來體驗極速出文的我發現，Groq的回答其實耗時一共21.5秒。并不快。同樣的問題給Chat GPT3.5，哪怕是用中文問，只需要不到10秒就能得到答案。
然后我又找了個問題問他，我說《黑暗之心》里面的剛果河之旅又象征了怎樣的隱喻?
這回確實生成的非常快了，只花費了2秒鐘就給出了答案!
但答案方面，乍一看是那么回事，但是了解這本小說的人仔細看完會發現，Groq這回可能依然沒答到點子上，跟上個問題給人的感覺差不多。所以，看來有些問題快是真的快，可是大部分給的回復都不太準確。而且我后來又試了試，我發現Groq在絕大多數情況下都能保證非常快速地給出結果，偶爾依然會“卡殼”，10秒，甚至20秒才能給出結果。
為什么會這樣?
快速是Groq的優化帶來的，而質量確實和調用的模型相關，但也與Groq的優化有關。
快速來自上面提到的TSP的優化，除此之外，Groq上面的模型也是他們自己微調過的，它并沒有公開微調過程，所以對于模型本身的看法來源于我的推測:它上面可以選用的所有的模型后面都有“小尾巴”，比如Llama270B-4K啊、Mixtral8x7B-32k啊。這個小尾巴是內容長度（Content Length）的意思，這個指標用來衡量模型生成的文本的長度，以便評估其生成內容的豐富程度或詳細程度，這個數字越大輸出的內容就越復雜。看起來Groq應該是沒有在輸出結果上進行微調，而是對模型處理過程進行微調，縮短了模型推理的時間限制，減少了它充分進行推理的時間，這樣再配合TSP本身固有的加速，形成了最后的結果。
在社交媒體上，也有很多人在被這閃電般的速度震撼后，開始發現它生成的質量似乎總是不合乎人意。
從技術和性能上來看，Groq目前還不能撼動英偉達的地位。原因很簡單，英偉達的GPU產品是通用的，而Groq的產品形態是ASIC，它不是通用產品，而是一個定制產品。簡單點來說，任何一個人工智能算法都可以使用英偉達的H200，但只有Mixtral和Llama2才能使用Groq的LPU。大模型公司想要使用Groq的產品，還需要先確定需求和指定規格，再進行功能驗證，最后生產出來的產品才能使用。
這還帶來了實際使用中的價格問題。
Lepton AI的賈揚清也做了一個詳細的計算，發現如果運行三年的話，Groq 的硬件采購成本是1144萬美元，運營成本是76.2萬美元或更高。8卡 H100的硬件采購成本是30萬美元，運營成本是7.2萬美元或略低。
事實上Groq背后的概念也不新鮮了。2015年到2019年期間，隨著人工智能這個概念被炒起來，誕生了很多“加速卡”公司，他們在PCIe插槽上制作類似GPU的產品，給當時的人工智能算法提供定制的物理加速服務，性質跟Groq差不太多。雖然有不少那樣的公司在當時沸沸揚揚，然而才過了幾年的工夫，你又能回想起幾個這樣的公司呢?希望這一次Groq的驚艷也不是一時的。
