在?并發(fā)訪問下，?如電商大促活動，流量持續(xù)不斷的涌?，服務之間的相互調?頻率突然增加，引發(fā)系統(tǒng)負載過?，這時系統(tǒng)所依賴的服務的穩(wěn)定性對系統(tǒng)的影響?常?，?且還有很多不確定因素引起雪崩，如?絡連接中斷，服務宕機等。?般微服務容錯組件提供了限流、隔離、降級、熔斷等?段，可以有效保護我們的微服務系統(tǒng)。本文主要說說限流。
限流，就是限制最?流量，防止操作頻率超過定義的限制。系統(tǒng)能提供的最?并發(fā)有限，同時請求?太多，這就就需要限流，?如秒殺、大促活動業(yè)務，瞬時?量請求涌?，服務器服務不過來，就只好限流了。速率限制通過限制在給定時間段內可以到達 API 的請求數(shù)量來保護服務免受意外或惡意過度使用。在沒有速率限制的情況下，任何用戶都可以用請求轟炸您的服務器，從而導致其他用戶餓死的情況。
為什么要限速？
- 防止資源匱乏：速率限制的最常見原因是通過避免資源匱乏來提高基于 API 的服務的可用性。如果應用速率限制，則可以防止基于負載的拒絕服務 (doS) 攻擊。即使一個用戶用大量請求轟炸 API，其他用戶也不會挨餓。
- 安全性：速率限制可防止暴力破解登錄、促銷代碼等安全密集型功能。對這些功能的請求數(shù)量在用戶級別受到限制，因此暴力破解算法在這些場景中不起作用。
- 防止運營成本：在按使用付費模式自動擴展資源的情況下，速率限制通過對資源擴展設置虛擬上限來幫助控制運營成本。如果不采用速率限制，資源可能會不成比例地擴展，從而導致指數(shù)級的賬單。
速率限制策略
速率限制可應用于以下參數(shù)：
- 1.用戶：限制在給定時間段內允許用戶的請求數(shù)。基于用戶的速率限制是最常見和最直觀的速率限制形式之一。
- 2. 并發(fā)性：這里限制了在給定時間范圍內用戶可以允許的并行會話數(shù)。并行連接數(shù)量的限制也有助于緩解 DDoS 攻擊。
- 3. 位置/ID：這有助于運行基于位置或以人口統(tǒng)計為中心的活動。可以限制不是來自目標人口統(tǒng)計的請求，以提高目標區(qū)域的可用性
- 4. 服務器：基于服務器的速率限制是一種利基策略。這通常在特定服務器需要大部分請求時使用，即服務器與特定功能強耦合
下面介紹下四種常?的限流算法。
1.漏桶算法
漏桶算法的思路，是一種簡單直觀的算法，就是?個固定容量的漏桶，按照常量固定速率流出?滴。如果桶是空的，則不需流出?滴。可以以任意速率流??滴到漏桶。如果流??滴超出了桶的容量，則流?的?滴溢出了（被丟棄），而漏桶容量是不變的。
這種算法的優(yōu)點是它可以平滑請求的突發(fā)并以恒定的速率處理它們。它也很容易在負載均衡器上實現(xiàn)，并且對每個用戶來說都是高效的內存。無論請求的數(shù)量如何，都保持到服務器的恒定接近均勻的流量。
缺點是請求的爆發(fā)可能會填滿存儲桶，導致新請求的匱乏。它也不能保證請求在給定的時間內完成。
優(yōu)點：
- 平滑流量。由于漏桶算法以固定的速率處理請求，可以有效地平滑和整形流量，避免流量的突發(fā)和波動（類似于消息隊列的削峰填谷的作用）。
- 防止過載。當流入的請求超過桶的容量時，可以直接丟棄請求，防止系統(tǒng)過載。
缺點：
- 無法處理突發(fā)流量：由于漏桶的出口速度是固定的，無法處理突發(fā)流量。例如，即使在流量較小的時候，也無法以更快的速度處理請求。
- 可能會丟失數(shù)據(jù)：如果入口流量過大，超過了桶的容量，那么就需要丟棄部分請求。在一些不能接受丟失請求的場景中，這可能是一個問題。
2.令牌桶算法
令牌桶算法：假設限制2r/s，則按照500毫秒的固定速率往桶中添加令牌。桶中最多存放b個令牌，當桶滿時，新添加的令牌被丟棄或拒絕。當?個n個字節(jié)??的數(shù)據(jù)包到達，將從桶中刪除n個令牌，接著數(shù)據(jù)包被發(fā)送到?絡上。如果桶中的令牌不?n個，則不會刪除令牌，且該數(shù)據(jù)包將被限流（要么丟棄，要么緩沖區(qū)等待）。令牌桶限流原理，如圖所示。
令牌桶限流服務器端可以根據(jù)實際服務性能和時間段改變?成令牌的速度和?桶的容量。 ?旦需要提?速率,則按需提?放?桶中的令牌的速率。
生成令牌的速度是恒定的，?請求去拿令牌是沒有速度限制的。這意味著當?對瞬時?流量，該算法可以在短時間內請求拿到?量令牌，?且拿令牌的過程并不是消耗很?。
每次新請求到達服務器時，都會發(fā)生兩個操作：
- 獲取令牌：獲取該用戶的當前令牌數(shù)。如果它大于定義的限制，則丟棄請求。
- 更新令牌：如果獲取的令牌小于持續(xù)時間 d 的限制，則接受請求并附加令牌。
該算法具有內存效率，因為我們?yōu)槲覀兊膽贸绦驗槊總€用戶節(jié)省了更少的數(shù)據(jù)量。這里的問題是它可能導致分布式環(huán)境中的競爭條件。當來自兩個不同應用程序服務器的兩個請求同時嘗試獲取令牌時，就會發(fā)生這種情況。
優(yōu)點：
- 可以處理突發(fā)流量：令牌桶算法可以處理突發(fā)流量。當桶滿時，能夠以最大速度處理請求。這對于需要處理突發(fā)流量的應用場景非常有用。
- 限制平均速率：在長期運行中，數(shù)據(jù)的傳輸率會被限制在預定義的平均速率（即生成令牌的速率）。
- 靈活性：與漏桶算法相比，令牌桶算法提供了更大的靈活性。例如，可以動態(tài)地調整生成令牌的速率。
缺點：
- 可能導致過載：如果令牌產生的速度過快，可能會導致大量的突發(fā)流量，這可能會使網(wǎng)絡或服務過載。
- 需要存儲空間：令牌桶需要一定的存儲空間來保存令牌，可能會導致內存資源的浪費。
- 實現(xiàn)稍復雜：相比于計數(shù)器算法，令牌桶算法的實現(xiàn)稍微復雜一些。
3.固定時間窗?算法
在固定的時間窗?內，可以允許固定數(shù)量的請求進?。超過數(shù)量就拒絕或者排隊，等下?個時間段進?。這種實現(xiàn)計數(shù)器限流?式由于是在?個時間間隔內進?限制，如果?戶在上個時間間隔結束前請求（但沒有超過限制），同時在當前時間間隔剛開始請求（同樣沒超過限制），在各?的時間間隔內，這些請求都是正常的，但是將間隔臨界的?段時間內的請求就會超過系統(tǒng)限制，可能導致系統(tǒng)被壓垮。
由于計數(shù)器算法存在時間臨界點缺陷，因此在時間臨界點左右的極短時間段內容易遭到攻擊。?如設定每分鐘最多可以請求100次某個接?，如12:00:00-12:00:59時間段內沒有數(shù)據(jù)請求，?12:00:59-12:01:00時間段內突然并發(fā)100次請求，?緊接著跨?下?個計數(shù)周期，計數(shù)器清零，在12:01:00-12:01:01內?有100次請求。那么也就是說在時間臨界點左右可能同時有2倍的閥值進?請求，從?造成后臺處理請求過載的情況，導致系統(tǒng)運營能?不?，甚?導致系統(tǒng)崩潰。
缺點：
- 限流不夠平滑。例如：限流是每秒3個，在第一毫秒發(fā)送了3個請求，達到限流，窗口剩余時間的請求都將會被拒絕，體驗不好。
- 無法處理窗口邊界問題。因為是在某個時間窗口內進行流量控制，所以可能會出現(xiàn)窗口邊界效應，即在時間窗口的邊界處可能會有大量的請求被允許通過，從而導致突發(fā)流量。
例如：限流是每秒3個，在第一秒的最后一毫秒發(fā)送了3個請求，在第二秒的第一毫秒又發(fā)送了3個請求。在這兩毫米內處理了6個請求，但是并沒有觸發(fā)限流。如果出現(xiàn)突發(fā)流量，可能會壓垮服務器。
4.滑動時間窗?算法
滑動窗?算法是把固定時間?進?劃分，并且隨著時間移動，移動?式為開始時間點變?yōu)闀r間列表中的第?時間點，結束時間點增加?個時間點，不斷重復，通過這種?式可以巧妙的避開計數(shù)器的臨界點的問題。
滑動窗?算法可以有效的規(guī)避計數(shù)器算法中時間臨界點的問題，但是仍然存在時間?段的概念。同時滑動窗?算法計數(shù)運算也相對固定時間窗?算法?較耗時。
缺點： 還是存在限流不夠平滑的問題。例如：限流是每秒3個，在第一毫秒發(fā)送了3個請求，達到限流，剩余窗口時間的請求都將會被拒絕，體驗不好。
總結
介紹了四種常用的限流算法：固定窗口算法、滑動窗口算法、漏桶算法和令牌桶算法。每種算法都有其特點和適用場景，下面我們來對它們進行簡單的總結和比較。
令牌桶算法既能平滑流量，又能處理突發(fā)流量，適用于需要處理突發(fā)流量的場景。
漏桶算法的優(yōu)點是流量處理更平滑，但是無法應對突發(fā)流量，適用于需要平滑流量的場景。
固定窗口算法 實現(xiàn)簡單，但是限流不夠平滑，存在窗口邊界問題，適用于需要簡單實現(xiàn)限流的場景。
滑動窗口算法解決了窗口邊界問題，但是還是存在限流不夠平滑的問題，適用于需要控制平均請求速率的場景。
