目錄
- 什么是聯合文件系統
- 如何配置 Docker 的 AUFS 模式
- AUFS 工作原理
- AUFS 是如何存儲文件的?
- AUFS 是如何工作的?
- 1. 讀取文件
- 修改文件或目錄
- AUFS 演示
- 準備演示目錄和文件
- 創建 AUFS 聯合文件系統
- 驗證 AUFS 的寫時復制
- 結語
前言:
我們知道,Docker
主要是基于 Namespace
、cgroups
和聯合文件系統這三大核心技術實現的。前面的課時我詳細講解了 Namespace 和 cgroups 的相關原理,那么你知道聯合文件系統是什么嗎?它的原理又是什么呢?
首先我們來了解一下什么是聯合文件系統。
什么是聯合文件系統
聯合文件系統(Union File System,Unionfs)是一種分層的輕量級文件系統,它可以把多個目錄內容聯合掛載到同一目錄下,從而形成一個單一的文件系統,這種特性可以讓使用者像是使用一個目錄一樣使用聯合文件系統。
那聯合文件系統對于 Docker 是一個怎樣的存在呢?它可以說是 Docker 鏡像和容器的基礎,因為它可以使 Docker 可以把鏡像做成分層的結構,從而使得鏡像的每一層可以被共享。例如兩個業務鏡像都是基于 CentOS 7 鏡像構建的,那么這兩個業務鏡像在物理機上只需要存儲一次 CentOS 7 這個基礎鏡像即可,從而節省大量存儲空間。
說到這兒,你有沒有發現,聯合文件系統只是一個概念,真正實現聯合文件系統才是關鍵,那如何實現呢?其實實現方案有很多,Docker 中最常用的聯合文件系統有三種:AUFS、Devicemapper 和 OverlayFS。
今天我主要講解 Docker 中最常用的聯合文件系統里的 AUFS,為什么呢?因為 AUFS 是 Docker 最早使用的文件系統驅動,多用于 Ubuntu 和 Debian 系統中。在 Docker 早期,OverlayFS 和 Devicemapper 相對不夠成熟,AUFS 是最早也是最穩定的文件系統驅動。 Devicemapper 和 OverlayFS 聯合文件系統。
接下來,我們就看看如何配置 Docker 的 AUFS 模式。
如何配置 Docker 的 AUFS 模式
AUFS 目前并未被合并到 Linux 內核主線,因此只有 Ubuntu 和 Debian 等少數操作系統支持 AUFS。
我們可以使用以下命令查看你的系統是否支持 AUFS:
$ grep aufs /proc/filesystems nodev aufs
執行以上命令后,如果輸出結果包含??aufs?
?,則代表當前操作系統支持 AUFS。AUFS 推薦在 Ubuntu 或 Debian 操作系統下使用,如果你想要在 CentOS 等操作系統下使用 AUFS,需要單獨安裝 AUFS 模塊(生產環境不推薦在 CentOS 下使用 AUFS,如果你想在 CentOS 下安裝 AUFS 用于研究和測試,可以參考這個? ?鏈接??),安裝完成后使用上述命令輸出結果中有??aufs?
?即可。
當確認完操作系統支持 AUFS 后,你就可以配置 Docker 的啟動參數了。
先在 /etc/docker 下新建 daemon.json 文件,并寫入以下內容:
{ "storage-driver": "aufs" }
然后使用以下命令重啟 Docker:
$ sudo systemctl restart docker
Docker 重啟以后使用??docker info?
?命令即可查看配置是否生效:
$ sudo docker info Client: Debug Mode: false Server: Containers: 0 Running: 0 Paused: 0 Stopped: 0 Images: 1 Server Version: 19.03.12 Storage Driver: aufs Root Dir: /var/lib/docker/aufs Backing Filesystem: extfs Dirs: 1 Dirperm1 Supported: true
可以看到 Storage Driver
已經變為 aufs,證明配置已經生效,配置生效后就可以使用 AUFS 為 Docker 提供聯合文件系統了。
配置好 Docker 的 AUFS 聯合文件系統后,你一定很好奇 AUFS 到底是如何工作的呢?下面我帶你詳細學習一下 AUFS 的工作原理。
AUFS 工作原理
AUFS 是如何存儲文件的?
AUFS 是聯合文件系統,意味著它在主機上使用多層目錄存儲,每一個目錄在 AUFS 中都叫作分支,而在 Docker 中則稱之為層(layer),但最終呈現給用戶的則是一個普通單層的文件系統,我們把多層以單一層的方式呈現出來的過程叫作聯合掛載。
如上圖,每一個鏡像層和容器層都是 /var/lib/docker 下的一個子目錄,鏡像層和容器層都在 aufs/diff 目錄下,每一層的目錄名稱是鏡像或容器的 ID 值,聯合掛載點在 aufs/mnt 目錄下,mnt 目錄是真正的容器工作目錄。
下面我們針對 aufs 文件夾下的各目錄結構,在創建容器前后的變化做詳細講述。
當一個鏡像未生成容器時,AUFS 的存儲結構如下。
- diff 文件夾:存儲鏡像內容,每一層都存儲在以鏡像層 ID 命名的子文件夾中。
- layers 文件夾:存儲鏡像層關系的元數據,在 diff 文件夾下的每個鏡像層在這里都會有一個文件,文件的內容為該層鏡像的父級鏡像的 ID。
- mnt 文件夾:聯合掛載點目錄,未生成容器時,該目錄為空。
當一個鏡像已經生成容器時,AUFS 存儲結構會發生如下變化。
- diff 文件夾:當容器運行時,會在 diff 目錄下生成容器層。
- layers 文件夾:增加容器層相關的元數據。
- mnt 文件夾:容器的聯合掛載點,這和容器中看到的文件內容一致。
以上便是 AUFS 的工作原理,那你知道容器的在工作過程中是如何使用 AUFS 的嗎?
AUFS 是如何工作的?
AUFS 的工作過程中對文件的操作分為讀取文件和修改文件。下面我們分別來看下 AUFS 對于不同的文件操作是如何工作的。
1. 讀取文件
當我們在容器中讀取文件時,可能會有以下場景。
- 文件在容器層中存在時:當文件存在于容器層時,直接從容器層讀取。
- 當文件在容器層中不存在時:當容器運行時需要讀取某個文件,如果容器層中不存在時,則從鏡像層查找該文件,然后讀取文件內容。
- 文件既存在于鏡像層,又存在于容器層:當我們讀取的文件既存在于鏡像層,又存在于容器層時,將會從容器層讀取該文件。
修改文件或目錄
AUFS 對文件的修改采用的是寫時復制的工作機制,這種工作機制可以最大程度節省存儲空間。
具體的文件操作機制如下。
- 第一次修改文件:當我們第一次在容器中修改某個文件時,AUFS 會觸發寫時復制操作,AUFS 首先從鏡像層復制文件到容器層,然后再執行對應的修改操作。
AUFS 寫時復制的操作將會復制整個文件,如果文件過大,將會大大降低文件系統的性能,因此當我們有大量文件需要被修改時,AUFS 可能會出現明顯的延遲。好在,寫時復制操作只在第一次修改文件時觸發,對日常使用沒有太大影響。
- 刪除文件或目錄:當文件或目錄被刪除時,AUFS 并不會真正從鏡像中刪除它,因為鏡像層是只讀的,AUFS 會創建一個特殊的文件或文件夾,這種特殊的文件或文件夾會阻止容器的訪問。
下面我們通過一個實例來演示一下 AUFS 。
AUFS 演示
準備演示目錄和文件
首先我們在 /tmp 目錄下創建 aufs 目錄:
$ cd /tmp /tmp$ mkdir aufs
準備掛載點目錄:
/tmp$ cd aufs /tmp/aufs$ mkdir mnt
接下來準備容器層內容:
## 創建鏡像層目錄 /tmp/aufs$ mkdir container1 ## 在鏡像層目錄下準備一個文件 /tmp/aufs$ echo Hello, Container layer! > container1/container1.txt
最后準備鏡像層內容:
## 創建兩個鏡像層目錄 /tmp/aufs$ mkdir image1 && mkdir image2 ## 分別寫入數據 /tmp/aufs$ echo Hello, Image layer1! > image1/image1.txt /tmp/aufs$ echo Hello, Image layer2! > image2/image2.txt
準備好的目錄和文件結構如下:
/tmp/aufs$ tree . . |-- container1 | `-- container1.txt |-- image1 | `-- image1.txt |-- image2 | `-- image2.txt `-- mnt 4 directories, 3 files
創建 AUFS 聯合文件系統
使用 mount 命令可以創建 AUFS 類型的文件系統,命令如下:
/tmp/aufs$ sudo mount -t aufs -o dirs=./container1:./image2:./image1 none ./mnt
mount 命令創建 AUFS 類型文件系統時,這里要注意,dirs 參數第一個冒號默認為讀寫權限,后面的目錄均為只讀權限,與 Docker 容器使用 AUFS 的模式一致。
執行完上述命令后,mnt 變成了 AUFS 的聯合掛載目錄,我們可以使用 mount 命令查看一下已經創建的 AUFS 文件系統:
/tmp/aufs$ mount -t aufs none on /tmp/aufs/mnt type aufs (rw,relatime,si=4174b83d649ffb7c)
我們每創建一個 AUFS 文件系統,AUFS 都會為我們生成一個 ID,這個 ID 在 /sys/fs/aufs/ 會創建對應的目錄,在這個 ID 的目錄下可以查看文件掛載的權限。
tmp/aufs$ cat /sys/fs/aufs/si_4174b83d649ffb7c/* /tmp/aufs/container1=rw /tmp/aufs/image2=ro /tmp/aufs/image1=ro 64 65 66
可以看到 container1 目錄的權限為 rw(代表可讀寫),image1 和 image2 的權限為 ro(代表只讀)。
為了驗證 mnt 目錄下可以看到 container1、image1 和 image2 目錄下的所有內容,我們使用 ls 命令查看一下 mnt 目錄:
/tmp/aufs$ ls -l mnt/ total 12 -rw-rw-r-- 1 ubuntu ubuntu 24 Sep 9 16:55 container1.txt -rw-rw-r-- 1 ubuntu ubuntu 21 Sep 9 16:59 image1.txt -rw-rw-r-- 1 ubuntu ubuntu 21 Sep 9 16:59 image2.txt
可以看到 mnt 目錄下已經出現了我們準備的所有鏡像層和容器層的文件。下面讓我們來驗證一下 AUFS 的寫時復制。
驗證 AUFS 的寫時復制
AUFS 的寫時復制是指在容器中,只有需要修改某個文件時,才會把文件從鏡像層復制到容器層,下面我們通過修改聯合掛載目錄 mnt 下的內容來驗證下這個過程。
我們使用以下命令修改 mnt 目錄下的 image1.txt 文件:
/tmp/aufs$ echo Hello, Image layer1 changed! > mnt/image1.txt
然后我們查看下 image1/image1.txt 文件內容:
/tmp/aufs$ cat image1/image1.txt Hello, Image layer1!
發現“鏡像層”的 image1.txt 文件并未被修改。
然后我們查看一下"容器層"對應的 image1.txt 文件內容:
/tmp/aufs$ ls -l container1/ total 8 -rw-rw-r-- 1 ubuntu ubuntu 24 Sep 9 16:55 container1.txt -rw-rw-r-- 1 ubuntu ubuntu 29 Sep 9 17:21 image1.txt ## 查看文件內容 /tmp/aufs$ cat container1/image1.txt Hello, Image layer1 changed!
發現 AUFS 在“容器層”自動創建了 image1.txt 文件,并且內容為我們剛才寫入的內容。
至此,我們完成了 AUFS 寫時復制的驗證。我們在第一次修改鏡像內某個文件時,AUFS 會復制這個文件到容器層,然后在容器層對該文件進行修改操作,這就是 AUFS 最典型的特性寫時復制。
結語
相信你知道了聯合文件系統是一種分層的輕量級文件系統,它可以把多個目錄內容聯合掛載到同一目錄下,從而形成一個單一的文件系統。同時也學會了如何配置 Docker 使用 AUFS ,并且明白了 AUFS 的工作原理。