亚洲视频二区_亚洲欧洲日本天天堂在线观看_日韩一区二区在线观看_中文字幕不卡一区

日志是服務(wù)運(yùn)行過程中的一個(gè)關(guān)鍵環(huán)節(jié)，借助日志，我們可以排查定位問題，也可以借助集中化的日志管理平臺（如ELK）來做一些必要的數(shù)據(jù)統(tǒng)計(jì)分析。在Docker環(huán)境中，日志的采集比傳統(tǒng)環(huán)境更為復(fù)雜，因此了解Docker日志的管理機(jī)制，及基于此熟悉日志采集的最佳實(shí)踐對于開發(fā)運(yùn)維人員來說也是避不開的一個(gè)知識點(diǎn)。那就開始吧。

Docker容器的日志管理機(jī)制

1. Docker Daemon日志

Docker Daemon在linux中本身作為systemd service啟動，因此可以通過 sudo journalctl -u docker 命令來查看Daemon本身的日志。

2. Docker容器日志

通過 docker logs container_id|container_name 可以查看Docker容器的輸出日志，但這里的日志只包含容器的標(biāo)準(zhǔn)輸出（STDOUT）與標(biāo)準(zhǔn)錯(cuò)誤輸出（STDERR），適用于一些將日志輸出到STDOUT的容器,比如Nginx，查看nginx的dockerfile可發(fā)現(xiàn)其是將日志文件鏈接到了STDOUT與STDERR來實(shí)現(xiàn)的，

    RUN ln -sf /dev/stdout /var/log/nginx/access.log
    && ln -sf /dev/stderr /var/log/nginx/error.log

但如果容器內(nèi)部應(yīng)用日志是輸出到日志文件（比如Spring Boot項(xiàng)目或Tomcat容器，一般將日志輸出到日志文件中），則無法通過 docker logs 命令查看。

docker logs 會顯示歷史日志，日志太多的話要等半天才能看到最新日志，同時(shí)也對Docker Daemon造成一定的壓力，可使用 docker logs --tail 200 container_id來查看最新的N條或使用docker logs -f container_id（類似于tail -f）

3. Docker日志處理機(jī)制

當(dāng)我們啟動一個(gè)容器時(shí)，其實(shí)是作為Docker Daemon的一個(gè)子進(jìn)程運(yùn)行，Docker Daemon可以拿到容器里進(jìn)程的標(biāo)準(zhǔn)輸出與標(biāo)準(zhǔn)錯(cuò)誤輸出，然后通過Docker的Log Driver模塊來處理。如下圖所示

目前支持的Log Drvier包括：

• none：容器沒有日志，docker logs不輸出任何內(nèi)容
• local：日志以自定義格式存儲
• json-file：日志以json格式存儲，默認(rèn)的Log Driver
• syslog：將日志寫入syslog。syslog守護(hù)程序必須在主機(jī)上運(yùn)行
• journald：將日志寫入journald。journald守護(hù)程序必須在主機(jī)上運(yùn)行
• gelf：將日志寫入Graylog Extended Log Format端點(diǎn)，如Graylog或Logstash
• fluentd：將日志寫入fluentd。fluentd守護(hù)程序必須在主機(jī)上運(yùn)行
• awslogs：將日志寫入Amazon CloudWatch Logs
• splunk：通過HTTP Event Collector將日志寫入splunk
• etwlogs：將日志作為ETW（Event Tracing for windows）事件寫入。只在Windows平臺可用
• gcplogs：將日志寫入google Cloud Platform Logging
• logentries：將日志寫入Rapid7 Logentries

使用Docker-CE版本時(shí)，docker logs命令僅適用于 local， json-file， journald 三種Log Driver。

可通過docker info來查看Docker Daemon（針對所有容器）或docker inspect來查看單個(gè)容器所使用的Log Driver

# Docker Daemon
[devuser@test-server-1 ~]$ docker  info |grep  "Logging Driver"
Logging Driver: json-file
# 單個(gè)Docker 容器
[devuser@test-server-1 ~]$ docker inspect  -f '{{.HostConfig.LogConfig.Type}}'  76f82aa32468
json-file

修改Docker Daemon使用的Log Driver可通過修改配置文件 /etc/docker/daemon.json 進(jìn)行，重啟Docker后該配置對該Docker Daemon管理的所有容器生效， 如

{
    "log-driver": "local",
    "log-opts": {
        "max-size": "10m",
        "max-file": 3
    }
}

設(shè)置單個(gè)容器的Log Driver則可以在容器運(yùn)行時(shí)通過參數(shù)指定，如

[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver local  --log-opt max-size=10m  --log-opt max-file=3  --restart=always nginx
63155291e724276d6154a26958b0e523a003958b1cdf7df9f1f0903bfc989b99

[root@tool-server ~]# tail -f /var/lib/docker/containers/63155291e724276d6154a26958b0e523a003958b1cdf7df9f1f0903bfc989b99/local-logs/container.log
stdout192.168.40.160 - - [02/Apr/2020:06:05:56 +0000] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"? 
stdou192.168.40.160 - - [02/Apr/2020:06:05:56 +0000] "GET /favicon.ico HTTP/1.1" 404 555 "http://192.168.40.110/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"

以下對常用的幾種Log Driver進(jìn)行詳細(xì)介紹

1. local

local Log Driver會將容器的STDOUT/STDERR輸出寫到宿主機(jī)的磁盤。前面示例了將Docker Daemon或單個(gè)容器的Log Driver設(shè)置為local，可以看到local的日志保存路徑為
/var/lib/docker/containers/{container_id}/local-logs/container.log

local Log Driver支持的配置屬性如下

配置屬性描述max-size單個(gè)日志文件的最大大小，默認(rèn)為20m（單位可為k,m,g）max-file最多存在多少個(gè)日志文件，文件數(shù)超過該值則會刪除最舊的文件，默認(rèn)為5compress是否對切割文件進(jìn)行壓縮，默認(rèn)為true

2. json-file

json-file Log Driver是Docker默認(rèn)啟用的Driver，將容器的STDOUT/STDERR輸出以json的格式寫到宿主機(jī)的磁盤，日志文件路徑為
/var/lib/docker/containers/{container_id}/{container_id}-json.log

格式如下，包含三個(gè)字段： log, stream, time。

[root@tool-server ~]# tail -f /var/lib/docker/containers/2cef9daeac7b009c636ed2b1a7ad8fe3342bc0d5dcd55e69d7a45a586d7abc47/2cef9daeac7b009c636ed2b1a7ad8fe3342bc0d5dcd55e69d7a45a586d7abc47-json.log
{"log":"2020-03-31T10:27:30.639+0000 I  SHARDING [conn4] Marking collection yapi.project as collection version: \u003cunsharded\u003en","stream":"stdout","time":"2020-03-31T10:27:30.639749587Z"}
{"log":"2020-03-31T10:27:30.756+0000 I  SHARDING [conn2] Marking collection yapi.log as collection version: \u003cunsharded\u003en","stream":"stdout","time":"2020-03-31T10:27:30.756744876Z"}

json-file將日志的每一行封裝到一個(gè)json串中，因此像JAVA的異常棧日志將會被拆分為多條json，在導(dǎo)入到ELK日志管理系統(tǒng)中時(shí)需要做合并處理。

json-file Log Driver支持的配置屬性如下

配置屬性描述max-size單個(gè)日志文件的最大大小，單位可為k,m,g。默認(rèn)-1，表示無限制max-file最多存在多少個(gè)日志文件，文件數(shù)超過該值則會刪除最舊的文件，默認(rèn)為1labels在啟動Docker容器時(shí)以逗號分隔的與日志相關(guān)的標(biāo)簽列表env在啟動Docker容器時(shí)以逗號分隔的與日志相關(guān)的環(huán)境變量列表env-regex類似于env，用于匹配與日志相關(guān)的環(huán)境變量的正則表達(dá)式compress是否對切割文件進(jìn)行壓縮，默認(rèn)為disabled

3. journald

journald Log Driver將容器的STDOUT/STDERR發(fā)送到systemd journal，與local，json-file一樣可以使用 docker logs 來查看。也可以使用 journalctl命令來查看，如

[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver journald  --log-opt labels=profile  --log-opt env=ONLINE --label profile=dev --env "ONLINE=false"  --restart=always nginx
2011dc967d7e068b14d974bdc083d072fd09498a7de74984d482897d1b5c4200

[root@tool-server ~]# journalctl -f CONTAINER_NAME=nginx
-- Logs begin at Tue 2020-03-31 18:24:36 CST. --

Apr 02 18:20:05 tool-server 2011dc967d7e[3655]: 192.168.40.160 - - [02/Apr/2020:10:20:05 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"

journalctl的命令形式

journalctl CONTAINER_NAME=nginx # 輸出指定容器的日志
journalctl -b CONTAINER_NAME=nginx # 輸出從上次啟動以來的所有日志
journalctl -o json CONTAINER_NAME=nginx # 以json格式顯示日志，包含了label，env中指定的屬性值
journalctl -f CONTAINER_NAME=nginx  # 類似于tail -f

journald Log Driver支持的配置屬性如下

配置屬性描述tag指定要在日志中設(shè)置CONTAINER_TAG與SYSLOG_IDENTIFIER值的模板labels定義一個(gè)標(biāo)簽列表，可在后面通過 --label 設(shè)置標(biāo)簽的值，該標(biāo)簽值會包含在日志體中env定義一個(gè)環(huán)境變量列表，可在后面通過 --env 指定環(huán)境變量的值，并且值會包含在日志體重env-regex與env類似，用于匹配與日志相關(guān)的環(huán)境變量的正則表達(dá)式

下圖是使用 journalctl -o json CONTAINER_NAME=nginx 命令輸出的完整json格式日志，其中包含了前面設(shè)置的profile標(biāo)簽與ONLINE環(huán)境變量。

除此之外，journald日志體中還會加上下面的數(shù)據(jù)

• CONTAINER_ID： 容器ID，12位
• CONTAINER_ID_FULL：完整的容器ID，64位
• CONTAINER_NAME：容器名稱
• CONTAINER_TAG，SYSLOG_IDENTIFIER：容器的tag

具體從上圖也可以看出。

4. syslog

syslog Log Driver將日志發(fā)送到syslog的服務(wù)器，在Linux中，一般使用rsyslog服務(wù)。

修改rsyslog配置，打開udp或tcp監(jiān)聽

[root@tool-server ~]# vim /etc/rsyslog.conf
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514

重啟rsyslog

[root@tool-server ~]# systemctl restart  rsyslog

[root@tool-server ~]# netstat -ano|grep 514
udp        0      0 0.0.0.0:514             0.0.0.0:*                           off (0.00/0/0)
udp6       0      0 :::514                  :::*                                off (0.00/0/0)

以syslog Log Driver啟動nginx容器

[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver syslog --log-opt syslog-address=udp://127.0.0.1:514  --restart=always nginx
989db94a01c36b7ea767bcb8db8ccc64bd558291ef7bcb364efa1352c78b8878

# 查看syslog日志
[root@tool-server ~]# tail -f /var/log/messages
Apr  2 18:58:06 localhost 989db94a01c3[3655]: 192.168.40.160 - - [02/Apr/2020:10:58:06 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"

容器日志采集實(shí)踐

1. 對于使用STDOUT/STDERR輸出日志的容器，比如nginx，可通過默認(rèn)的json-file，從前文提到的目錄下通過filebeat或logstash進(jìn)行監(jiān)聽采集
2. 對于使用日志文件記錄的容器，比如tomcat，可通過目錄掛載的方式將容器日志目錄掛載到宿主機(jī)目錄，然后監(jiān)聽宿主機(jī)目錄進(jìn)行日志采集，比如啟動時(shí)指定參數(shù) -v /data/tomcat/logs:/usr/local/tomcat/logs。但這種方式如果同一應(yīng)用的容器在一個(gè)服務(wù)器節(jié)點(diǎn)上啟動多個(gè)時(shí)，會造成日志文件名相同產(chǎn)生沖突，對于這種情況，如果使用的是logback日志框架，之前的文章自定義logback日志文件的名稱 提供了一種方案
3. 如果既有標(biāo)準(zhǔn)輸出又有日志文件輸出，可考慮第三方日志采集框架，比如阿里巴巴開源的log-pilot
4. 如果是Serverless環(huán)境，即沒有具體的物理機(jī)或虛擬機(jī)，通過云容器服務(wù)部署的情況，則可以通過掛載云盤的方式，將容器日志目錄掛載到云盤目錄下，通過監(jiān)聽云盤目錄進(jìn)行日志采集

出于篇幅與時(shí)間關(guān)系，這里只列出幾種不同場景的日志采集方案，1,2場景比較好理解，對于4一般云平臺都有相關(guān)的文檔可查閱，場景3后續(xù)可再整理一篇實(shí)操文來補(bǔ)充說明。