摘要
在非網關型負載均衡器中，通常使用FullNat模式。在這種模式下，客戶端訪問后端服務器的源IP在負載均衡器上會被改變，導致在后端服務器上服務不能正確確定客戶端的真實IP地址。在一些應用場景下，為了實現安全或者大數據分析等應用，需要感知客戶端的真實IP。本文介紹了一種FullNat模式下負載均衡的源地址可見方法。
概述
負載均衡有三種模式：DR，NAT，Tunnel。FullNat模式在NAT模式下增加了源IP NAT。FullNat模式的優點：解決了NAT對Director和RS要求在同一個vlan的問題，適用更復雜的部署形式不要求配置Director作為網關，Director與RS可以通過三層通訊。缺點：RS看不到客戶端真實IP。
為了解決后端服務器感知客戶端真實IP，本文介紹了如下的方法。
四層源地址可見
四層流量通常是TCP和UDP協議報文。源地址可見的通常方法是在報文中某些字段攜帶客戶端的真實IP。在后端通過內核模塊來獲取客戶端IP。
TCP源地址可見
TCP流量是TOA來實現源地址可見。TOA 名字全稱是 tcp option address，是 FullNat 模式下能夠讓后端服務器獲取客戶端IP的一種實現方式，它的基本原理比較簡單。
客戶端用戶請求數據包到達負載均衡器時，負載均衡器在數據包的 tcp option 中插入源IP信息。
數據包到達后端服務器（裝有 toa 內核模塊）后，應用程序正常調用 getpeername 系統函數來獲取連接的源端IP地址。
由于在 toa 代碼中 hook（修改）了 inet_getname 函數（getpeername 系統調用對應的內核處理函數），該函數會從 tcp option 中獲取負載均衡器填充的源IP信息。
這樣后端服務器應用程序就獲取到了真實客戶端IP，而且對應用程序來說是透明的。
TCP頭部格式如下：
在option選項部分攜帶客戶端的IP地址。
IPv4 TOA格式
opcode
opsize
port
clientIP
opcode: opcode = 254
opsize: toa 大小 8 字節
port: 客戶端端口
clientIP: 客戶端 IP（4 字節）
注：opsize 大小包含了自身opsize(2B) + port(2B) + ip(4B)
修改option的時機
負載均衡器需要對每個 tcp 數據包都要插入 toa 信息么？如果這樣會影響到 負載均衡器 整體性能的，而且后端服務器也沒必要對每個 tcp 數據包進行解析，當然也很影響服務器性能。其實只需要在第 3 次握手 ack 數據包中插入 toa 選項即可，后端服務器從 ack 數據包中解析并獲取即可。
后端服務器上獲取客戶端IP獲取。
TCP協議棧中處理三次握手的 ack 數據包的函數是tcp_v4_syn_recv_sock，完成連接的建立，并創建 newsock。在TOA內核模塊中修改
1.hook tcp_v4_syn_recv_sock_toa函數，從TCP的skb中獲取tcp option的攜帶的IP信息，保存到socket中
2. Hook inet_getname，應用程序在調用getpeername時，會使用inet_getname_toa函數處理，從socket中將保存的ip信息返回
UDP源地址可見
UDP使用UOA來實現源地址可見。UDP報文頭部沒有option字段，通常在IP頭部的option中攜帶客戶端IP。另外UDP是沒有連接的，沒有三層握手，通常是在前面幾個報文中攜帶信息。
七層源地址可見
七層的負載均衡通常通過反向代理來實現，如Nginx和Haproxy。七層流量通常是HTTP，通過在HTTP頭中的X-FORWARD-FOR中攜帶客戶端真實IP，后端服務器應用從HTTP頭的該字段中獲取得到。
X-Forwarded-For 是一個 HTTP 擴展頭部。HTTP/1.1（RFC 2616）協議并沒有對它的定義，它最開始是由 Squid 這個緩存代理軟件引入，用來表示 HTTP 客戶端真實 IP。如今它已經成為事實上的標準，被各大 HTTP 代理、負載均衡等轉發服務廣泛使用，并被寫入 RFC 7239（Forwarded HTTP Extension）標準之中。
X-Forwarded-For 請求頭格式非常簡單，就這樣：
X-Forwarded-For: client, proxy1, proxy2
可以看到，XFF 的內容由「英文逗號 + 空格」隔開的多個部分組成，最開始的是離服務端最遠的設備 IP，然后是每一級代理設備的 IP。
如果一個 HTTP 請求到達服務器之前，經過了三個代理 Proxy1、Proxy2、Proxy3，IP 分別為 IP1、IP2、IP3，用戶真實 IP 為 IP0，那么按照 XFF 標準，服務端最終會收到以下信息：
X-Forwarded-For: IP0, IP1, IP2
下面以NGINX為例，說明配置方法。
在Nginx配置文件中添加：
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
$proxy_add_x_forwarded_for會保存X-Forwarded-For中已有的值，并且追加$remote_addr的值，使用逗號隔開。
如果之前X-Forwarded-For中沒有值，則修改后X-Forwarded-For中只有$remote_addr的值。
例子：
A(client)—>B(Nginx1)—>C(Nginx2)—>D
A為客戶端，B和C為Nginx反向代理，D為服務端
A訪問B時，X-Forwarded-For為空，$remote_addr為A的IP，故B轉發到C時附帶的Header頭X-Forwarded-For即為A的IP；
B訪問C時，X-Forwarded-For為A的IP，$remote_addr為B的IP，此時C轉發到D附帶的Header頭X-Forwarded-For即為A的IP，B的IP；
C訪問D時，D就可以拿C傳來的X-Forwarded-For Header頭來分析源IP。
