91原创视频在线,国产精品中文字幕在线观看,久久成人亚洲香蕉草草

兩個(gè)奇技淫巧，將 Docker 鏡像體積減小 99%

對于剛接觸容器的人來說，他們很容易被自己構(gòu)建的 Docker 鏡像體積嚇到，我只需要一個(gè)幾 MB 的可執(zhí)行文件而已，為何鏡像的體積會達(dá)到 1 GB 以上？本文將會介紹幾個(gè)奇技淫巧來幫助你精簡鏡像，同時(shí)又不犧牲開發(fā)人員和運(yùn)維人員的操作便利性。本系列文章將分為三個(gè)部分：

第一部分著重介紹多階段構(gòu)建（multi-stage builds），因?yàn)檫@是鏡像精簡之路至關(guān)重要的一環(huán)。在這部分內(nèi)容中，我會解釋靜態(tài)鏈接和動態(tài)鏈接的區(qū)別，它們對鏡像帶來的影響，以及如何避免那些不好的影響。中間會穿插一部分對 Alpine 鏡像的介紹。

第二部分將會針對不同的語言來選擇適當(dāng)?shù)木啿呗裕渲兄饕懻?Go，同時(shí)也涉及到了 JAVA，Node，Python，Ruby 和 Rust。這一部分也會詳細(xì)介紹 Alpine 鏡像的避坑指南。什么？你不知道 Alpine 鏡像有哪些坑？我來告訴你。

第三部分將會探討適用于大多數(shù)語言和框架的通用精簡策略，例如使用常見的基礎(chǔ)鏡像、提取可執(zhí)行文件和減小每一層的體積。同時(shí)還會介紹一些更加奇特或激進(jìn)的工具，例如 Bazel，Distroless，DockerSlim 和 UPX，雖然這些工具在某些特定場景下能帶來奇效，但大多情況下會起到反作用。

本文介紹第一部分。

1. 萬惡之源

我敢打賭，每一個(gè)初次使用自己寫好的代碼構(gòu)建 Docker 鏡像的人都會被鏡像的體積嚇到，來看一個(gè)例子。

讓我們搬出那個(gè)屢試不爽的 hello world C 程序：

/* hello.c */
int main () {
  puts("Hello, world!");
  return 0;
}

并通過下面的 Dockerfile 構(gòu)建鏡像：

FROM gcc
COPY hello.c .
RUN gcc -o hello hello.c
CMD ["./hello"]

然后你會發(fā)現(xiàn)構(gòu)建成功的鏡像體積遠(yuǎn)遠(yuǎn)超過了 1 GB。。。因?yàn)樵撶R像包含了整個(gè) gcc 鏡像的內(nèi)容。

如果使用 Ubuntu 鏡像，安裝 C 編譯器，最后編譯程序，你會得到一個(gè)大概 300 MB 大小的鏡像，比上面的鏡像小多了。但還是不夠小，因?yàn)榫幾g好的可執(zhí)行文件還不到 20 KB：

$ ls -l hello
-rwxr-xr-x   1 root root 16384 Nov 18 14:36 hello

類似地，Go 語言版本的 hello world 會得到相同的結(jié)果：

package main

import "fmt"

func main () {
  fmt.Println("Hello, world!")
}

使用基礎(chǔ)鏡像 golang 構(gòu)建的鏡像大小是 800 MB，而編譯后的可執(zhí)行文件只有 2 MB 大小：

$ ls -l hello
-rwxr-xr-x 1 root root 2008801 Jan 15 16:41 hello

還是不太理想，有沒有辦法大幅度減少鏡像的體積呢？往下看。

為了更直觀地對比不同鏡像的大小，所有鏡像都使用相同的鏡像名，不同的標(biāo)簽。例如：hello:gcc，hello:ubuntu，hello:thisweirdtrick 等等，這樣就可以直接使用命令 docker images hello 列出所有鏡像名為 hello 的鏡像，不會被其他鏡像所干擾。

2. 多階段構(gòu)建

要想大幅度減少鏡像的體積，多階段構(gòu)建是必不可少的。多階段構(gòu)建的想法很簡單：“我不想在最終的鏡像中包含一堆 C 或 Go 編譯器和整個(gè)編譯工具鏈，我只要一個(gè)編譯好的可執(zhí)行文件！”

多階段構(gòu)建可以由多個(gè) FROM 指令識別，每一個(gè) FROM 語句表示一個(gè)新的構(gòu)建階段，階段名稱可以用 AS 參數(shù)指定，例如：

FROM gcc AS mybuildstage
COPY hello.c .
RUN gcc -o hello hello.c
FROM ubuntu
COPY --from=mybuildstage hello .
CMD ["./hello"]

本例使用基礎(chǔ)鏡像 gcc 來編譯程序 hello.c，然后啟動一個(gè)新的構(gòu)建階段，它以 ubuntu 作為基礎(chǔ)鏡像，將可執(zhí)行文件 hello 從上一階段拷貝到最終的鏡像中。最終的鏡像大小是 64 MB，比之前的 1.1 GB 減少了 95%：

 → docker images minimage
REPOSITORY          TAG                    ...         SIZE
minimage            hello-c.gcc            ...         1.14GB
minimage            hello-c.gcc.ubuntu     ...         64.2MB

還能不能繼續(xù)優(yōu)化？當(dāng)然能。在繼續(xù)優(yōu)化之前，先提醒一下：

在聲明構(gòu)建階段時(shí)，可以不必使用關(guān)鍵詞 AS，最終階段拷貝文件時(shí)可以直接使用序號表示之前的構(gòu)建階段（從零開始）。也就是說，下面兩行是等效的：

COPY --from=mybuildstage hello .
COPY --from=0 hello .

如果 Dockerfile 內(nèi)容不是很復(fù)雜，構(gòu)建階段也不是很多，可以直接使用序號表示構(gòu)建階段。一旦 Dockerfile 變復(fù)雜了，構(gòu)建階段增多了，最好還是通過關(guān)鍵詞 AS 為每個(gè)階段命名，這樣也便于后期維護(hù)。

使用經(jīng)典的基礎(chǔ)鏡像

我強(qiáng)烈建議在構(gòu)建的第一階段使用經(jīng)典的基礎(chǔ)鏡像，這里經(jīng)典的鏡像指的是 centos，Debian，F(xiàn)edora 和 Ubuntu 之類的鏡像。你可能還聽說過 Alpine 鏡像，不要用它！至少暫時(shí)不要用，后面我會告訴你有哪些坑。

COPY --from 使用絕對路徑

從上一個(gè)構(gòu)建階段拷貝文件時(shí)，使用的路徑是相對于上一階段的根目錄的。如果你使用 golang 鏡像作為構(gòu)建階段的基礎(chǔ)鏡像，就會遇到類似的問題。假設(shè)使用下面的 Dockerfile 來構(gòu)建鏡像：

FROM golang
COPY hello.go .
RUN go build hello.go
FROM ubuntu
COPY --from=0 hello .
CMD ["./hello"]

你會看到這樣的報(bào)錯(cuò)：

COPY failed: stat /var/lib/docker/overlay2/1be...868/merged/hello: no such file or directory

這是因?yàn)?COPY 命令想要拷貝的是 /hello，而 golang 鏡像的 WORKDIR 是 /go，所以可執(zhí)行文件的真正路徑是 /go/hello。

當(dāng)然你可以使用絕對路徑來解決這個(gè)問題，但如果后面基礎(chǔ)鏡像改變了 WORKDIR 怎么辦？你還得不斷地修改絕對路徑，所以這個(gè)方案還是不太優(yōu)雅。最好的方法是在第一階段指定 WORKDIR，在第二階段使用絕對路徑拷貝文件，這樣即使基礎(chǔ)鏡像修改了 WORKDIR，也不會影響到鏡像的構(gòu)建。例如：

FROM golang
WORKDIR /src
COPY hello.go .
RUN go build hello.go
FROM ubuntu
COPY --from=0 /src/hello .
CMD ["./hello"]

最后的效果還是很驚人的，將鏡像的體積直接從 800 MB 降低到了 66 MB：

 → docker images minimage
REPOSITORY     TAG                              ...    SIZE
minimage       hello-go.golang                  ...    805MB
minimage       hello-go.golang.ubuntu-workdir   ...    66.2MB

3. FROM scratch 的魔力

回到我們的 hello world，C 語言版本的程序大小為 16 kB，Go 語言版本的程序大小為 2 MB，那么我們到底能不能將鏡像縮減到這么小？能否構(gòu)建一個(gè)只包含我需要的程序，沒有任何多余文件的鏡像？

答案是肯定的，你只需要將多階段構(gòu)建的第二階段的基礎(chǔ)鏡像改為 scratch 就好了。scratch 是一個(gè)虛擬鏡像，不能被 pull，也不能運(yùn)行，因?yàn)樗硎究铡othing！這就意味著新鏡像的構(gòu)建是從零開始，不存在其他的鏡像層。例如：

FROM golang
COPY hello.go .
RUN go build hello.go
FROM scratch
COPY --from=0 /go/hello .
CMD ["./hello"]

這一次構(gòu)建的鏡像大小正好就是 2 MB，堪稱完美！

然而，但是，使用 scratch 作為基礎(chǔ)鏡像時(shí)會帶來很多的不便，且聽我一一道來。

缺少 shell

scratch 鏡像的第一個(gè)不便是沒有 shell，這就意味著 CMD/RUN 語句中不能使用字符串，例如：

...
FROM scratch
COPY --from=0 /go/hello .
CMD ./hello

如果你使用構(gòu)建好的鏡像創(chuàng)建并運(yùn)行容器，就會遇到下面的報(bào)錯(cuò)：

docker: Error response from daemon: OCI runtime create failed: container_linux.go:345: starting container process caused "exec: "/bin/sh": stat /bin/sh: no such file or directory": unknown.

從報(bào)錯(cuò)信息可以看出，鏡像中并不包含 /bin/sh，所以無法運(yùn)行程序。這是因?yàn)楫?dāng)你在 CMD/RUN 語句中使用字符串作為參數(shù)時(shí)，這些參數(shù)會被放到 /bin/sh 中執(zhí)行，也就是說，下面這兩條語句是等效的：

CMD ./hello
CMD /bin/sh -c "./hello"

解決辦法其實(shí)也很簡單：**使用 JSON 語法取代字符串語法。**例如，將 CMD ./hello 替換為 CMD ["./hello"]，這樣 Docker 就會直接運(yùn)行程序，不會把它放到 shell 中運(yùn)行。

缺少調(diào)試工具

scratch 鏡像不包含任何調(diào)試工具，ls、ps、ping 這些統(tǒng)統(tǒng)沒有，當(dāng)然了，shell 也沒有（上文提過了），你無法使用 docker exec 進(jìn)入容器，也無法查看網(wǎng)絡(luò)堆棧信息等等。

如果想查看容器中的文件，可以使用 docker cp；如果想查看或調(diào)試網(wǎng)絡(luò)堆棧，可以使用 docker run --net container:，或者使用 nsenter；為了更好地調(diào)試容器，Kubernetes 也引入了一個(gè)新概念叫 Ephemeral Containers，但現(xiàn)在還是 Alpha 特性。

雖然有這么多雜七雜八的方法可以幫助我們調(diào)試容器，但它們會將事情變得更加復(fù)雜，我們追求的是簡單，越簡單越好。

折中一下可以選擇 busybox 或 alpine 鏡像來替代 scratch，雖然它們多了那么幾 MB，但從整體來看，這只是犧牲了少量的空間來換取調(diào)試的便利性，還是很值得的。

缺少 libc

這是最難解決的問題。使用 scratch 作為基礎(chǔ)鏡像時(shí)，Go 語言版本的 hello world 跑得很歡快，C 語言版本就不行了，或者換個(gè)更復(fù)雜的 Go 程序也是跑不起來的（例如用到了網(wǎng)絡(luò)相關(guān)的工具包），你會遇到類似于下面的錯(cuò)誤：

standard_init_linux.go:211: exec user process caused "no such file or directory"

從報(bào)錯(cuò)信息可以看出缺少文件，但沒有告訴我們到底缺少哪些文件，其實(shí)這些文件就是程序運(yùn)行所必需的動態(tài)庫（dynamic library）。

那么，什么是動態(tài)庫？為什么需要?jiǎng)討B(tài)庫？

所謂動態(tài)庫、靜態(tài)庫，指的是程序編譯的鏈接階段，鏈接成可執(zhí)行文件的方式。靜態(tài)庫指的是在鏈接階段將匯編生成的目標(biāo)文件.o 與引用到的庫一起鏈接打包到可執(zhí)行文件中，因此對應(yīng)的鏈接方式稱為靜態(tài)鏈接（static linking）。而動態(tài)庫在程序編譯時(shí)并不會被連接到目標(biāo)代碼中，而是在程序運(yùn)行是才被載入，因此對應(yīng)的鏈接方式稱為動態(tài)鏈接（dynamic linking）。

90 年代的程序大多使用的是靜態(tài)鏈接，因?yàn)楫?dāng)時(shí)的程序大多數(shù)都運(yùn)行在軟盤或者盒式磁帶上，而且當(dāng)時(shí)根本不存在標(biāo)準(zhǔn)庫。這樣程序在運(yùn)行時(shí)與函數(shù)庫再無瓜葛，移植方便。但對于 Linux 這樣的分時(shí)系統(tǒng)，會在在同一塊硬盤上并發(fā)運(yùn)行多個(gè)程序，這些程序基本上都會用到標(biāo)準(zhǔn)的 C 庫，這時(shí)使用動態(tài)鏈接的優(yōu)點(diǎn)就體現(xiàn)出來了。使用動態(tài)鏈接時(shí)，可執(zhí)行文件不包含標(biāo)準(zhǔn)庫文件，只包含到這些庫文件的索引。例如，某程序依賴于庫文件 libtrigonometry.so 中的 cos 和 sin 函數(shù)，該程序運(yùn)行時(shí)就會根據(jù)索引找到并加載 libtrigonometry.so，然后程序就可以調(diào)用這個(gè)庫文件中的函數(shù)。

使用動態(tài)鏈接的好處顯而易見：

節(jié)省磁盤空間，不同的程序可以共享常見的庫。
節(jié)省內(nèi)存，共享的庫只需從磁盤中加載到內(nèi)存一次，然后在不同的程序之間共享。
更便于維護(hù)，庫文件更新后，不需要重新編譯使用該庫的所有程序。

嚴(yán)格來說，動態(tài)庫與共享庫（shared libraries）相結(jié)合才能達(dá)到節(jié)省內(nèi)存的功效。Linux 中動態(tài)庫的擴(kuò)展名是 .so（ shared object），而 windows 中動態(tài)庫的擴(kuò)展名是 .DLL（Dynamic-link library）。

回到最初的問題，默認(rèn)情況下，C 程序使用的是動態(tài)鏈接，Go 程序也是。上面的 hello world 程序使用了標(biāo)準(zhǔn)庫文件 libc.so.6，所以只有鏡像中包含該文件，程序才能正常運(yùn)行。使用 scratch 作為基礎(chǔ)鏡像肯定是不行的，使用 busybox 和 alpine 也不行，因?yàn)?busybox 不包含標(biāo)準(zhǔn)庫，而 alpine 使用的標(biāo)準(zhǔn)庫是 musl libc，與大家常用的標(biāo)準(zhǔn)庫 glibc 不兼容，后續(xù)的文章會詳細(xì)解讀，這里就不贅述了。

那么該如何解決標(biāo)準(zhǔn)庫的問題呢？有三種方案。

1、使用靜態(tài)庫

我們可以讓編譯器使用靜態(tài)庫編譯程序，辦法有很多，如果使用 gcc 作為編譯器，只需加上一個(gè)參數(shù) -static：

$ gcc -o hello hello.c -static

編譯完的可執(zhí)行文件大小為 760 kB，相比于之前的 16kB 是大了好多，這是因?yàn)榭蓤?zhí)行文件中包含了其運(yùn)行所需要的庫文件。編譯完的程序就可以跑在 scratch 鏡像中了。

如果使用 alpine 鏡像作為基礎(chǔ)鏡像來編譯，得到的可執(zhí)行文件會更小（< 100kB），下篇文章會詳述。

2、拷貝庫文件到鏡像中

為了找出程序運(yùn)行需要哪些庫文件，可以使用 ldd 工具：

$ ldd hello
	linux-vdso.so.1 (0x00007ffdf8acb000)
	libc.so.6 => /usr/lib/libc.so.6 (0x00007ff897ef6000)
	/lib64/ld-linux-x86-64.so.2 => /usr/lib64/ld-linux-x86-64.so.2 (0x00007ff8980f7000)

從輸出結(jié)果可知，該程序只需要 libc.so.6 這一個(gè)庫文件。linux-vdso.so.1 與一種叫做 VDSO 的機(jī)制有關(guān)，用來加速某些系統(tǒng)調(diào)用，可有可無。ld-linux-x86-64.so.2 表示動態(tài)鏈接器本身，包含了所有依賴的庫文件的信息。

你可以選擇將 ldd 列出的所有庫文件拷貝到鏡像中，但這會很難維護(hù)，特別是當(dāng)程序有大量依賴庫時(shí)。對于 hello world 程序來說，拷貝庫文件完全沒有問題，但對于更復(fù)雜的程序（例如使用到 DNS 的程序），就會遇到令人費(fèi)解的問題：glibc（GNU C library）通過一種相當(dāng)復(fù)雜的機(jī)制來實(shí)現(xiàn) DNS，這種機(jī)制叫 NSS（Name Service Switch, 名稱服務(wù)開關(guān)）。它需要一個(gè)配置文件 /etc/nsswitch.conf 和額外的函數(shù)庫，但使用 ldd 時(shí)不會顯示這些函數(shù)庫，因?yàn)檫@些庫在程序運(yùn)行后才會加載。如果想讓 DNS 解析正確工作，必須要拷貝這些額外的庫文件（/lib64/libnss_*）。

我個(gè)人不建議直接拷貝庫文件，因?yàn)樗浅ｋy以維護(hù)，后期需要不斷地更改，而且還有很多未知的隱患。