博文大綱:
成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比華坪網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式華坪網(wǎng)站制作公司更省心,省錢(qián),快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋華坪地區(qū)。費(fèi)用合理售后完善,十多年實(shí)體公司更值得信賴。
一、Docker的監(jiān)控
二、prometheus簡(jiǎn)介
三、Prometheus組成及架構(gòu)
四、部署prometheus
1)環(huán)境準(zhǔn)備
2)部署prometheus
3)配置Peometheus監(jiān)控實(shí)現(xiàn)報(bào)警
[root@localhost ~]# docker top wordpress_wordprss_1 //查看容器的使用狀態(tài)
UID PID PPID C STIME TTY TIME CMD
root 5601 5569 0 20:53 ? 00:00:00 apache2 -DFOREGROUND
33 6073 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6074 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6075 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6076 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6077 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6096 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6098 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6099 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6100 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6155 5601 0 20:57 ? 00:00:00 apache2 -DFOREGROUND
[root@localhost ~]# docker stats wordpress_wordprss_1
[root@localhost ~]# docker logs wordpress_wordprss_1
//這三條都是容器本身自帶的監(jiān)控命令[root@localhost ~]# docker run -it --rm --name sysdig --privileged=true --volume=/var/run/docker.sock:/host/var/run/docker.sock --volume=/dev:/host/dev --volume=/proc:/host/proc:ro --volume=/boot:/host/boot:ro --volume=/lib/modules:/host/lib/modules:ro --volume=/usr:/host/usr:ro sysdig/sysdig
//創(chuàng)建一個(gè)容器并自動(dòng)進(jìn)入容器中
//--rm:隨著退出容器而被刪除;
//--privileged=true:賦予特殊權(quán)限;
root@711dbeb59fdd:/# csysdig //執(zhí)行這條命令如圖:
圖中可以使用鍵盤(pán)和鼠標(biāo)進(jìn)行操作!
[root@localhost ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@localhost ~]# chmod +x /usr/local/bin/scope //下載安裝腳本
[root@localhost ~]# scope launch //以容器方式啟動(dòng)
……………………
Weave Scope is listening at the following URL(s):
* http://172.21.0.1:4040/
* http://192.168.122.1:4040/
* http://172.22.0.1:4040/
* http://172.20.0.1:4040/
* http://172.18.0.1:4040/
* http://172.19.0.1:4040/
* http://192.168.1.1:4040/
//根據(jù)末尾的提示信息進(jìn)行訪問(wèn)如圖:
根據(jù)圖中的提示,自行可以點(diǎn)擊進(jìn)行測(cè)試!
如果要監(jiān)控兩臺(tái)的話:主機(jī)名必須進(jìn)行區(qū)分方法如下:
[root@dockerA ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@dockerA ~]# chmod +x /usr/local/bin/scope
[root@dockerA ~]# scope launch 192.168.1.1 192.168.1.2 //選指定本地的IP,再指定對(duì)方的IP
[root@dockerA ~]# docker run -itd --name http httpd //運(yùn)行一個(gè)容器進(jìn)行測(cè)試
[root@dockerB ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@dockerB ~]# chmod +x /usr/local/bin/scope
[root@dockerB ~]# scope launch 192.168.1.2 192.168.1.1
[root@dockerB ~]# docker run -itd --name nginx nginx訪問(wèn)(dockerA、dockerB任意一臺(tái)即可)測(cè)試:
Prometheus是一套開(kāi)源的系統(tǒng)監(jiān)控報(bào)警框架。它以給定的時(shí)間間隔從已配置的目標(biāo)收集指標(biāo),評(píng)估規(guī)則表達(dá)式,顯示結(jié)果,并在發(fā)現(xiàn)某些情況為真時(shí)觸發(fā)警報(bào)。
作為新一代的監(jiān)控框架,Prometheus具有以下特點(diǎn) :
- 強(qiáng)大的多維度數(shù)據(jù)模型:
(1)時(shí)間序列數(shù)據(jù)通過(guò)metric名和鍵值對(duì)來(lái)區(qū)分;
(2)所有的metrics都可以設(shè)置任意的多維標(biāo)簽;
(3)數(shù)據(jù)模型更隨意,,不需要刻意設(shè)置為以點(diǎn)分隔的字符串;
(4)可以對(duì)數(shù)據(jù)模型進(jìn)行聚合、切割和切片操作;
(5)支持雙精度浮點(diǎn)類型,標(biāo)簽可以設(shè)為全unicode(統(tǒng)一碼);- 靈活、強(qiáng)大的查詢語(yǔ)句:在同一個(gè)查詢語(yǔ)句,可以對(duì)多個(gè) metrics 進(jìn)行乘法、加法、連接、取分?jǐn)?shù)位等操作;
- 易于管理:不依賴于分布式存儲(chǔ);
- 使用 pull 模式采集時(shí)間序列數(shù)據(jù);
- 可以采用 push gateway 的方式把時(shí)間序列數(shù)據(jù)推送至 Prometheus server 端;
- 可以通過(guò)服務(wù)發(fā)現(xiàn)或者靜態(tài)配置去獲取監(jiān)控的 targets;
- 有多種可視化圖形界面;
- 易于伸縮。;
Prometheus包含了許多組件,其中許多組件都是可選的,常用的組件有:
- Prometheus Server:用于收集和存儲(chǔ)時(shí)間序列數(shù)據(jù);
- Client Library:客戶端庫(kù),為需要監(jiān)控的服務(wù)生成相應(yīng)的 metrics 并暴露給 Prometheus server;
- Push Gateway:主要用于短期的 jobs。由于這類 jobs 存在時(shí)間較短,可能在 Prometheus 來(lái) pull 之前就消失了。為此,這次 jobs 可以直接向 Prometheus server 端推送它們的 metrics;
- Exporters:用于暴露已有的第三方服務(wù)的 metrics 給 Prometheus;
- Alertmanager:從 Prometheus server 端接收到 alerts 后,會(huì)進(jìn)行去除重復(fù)數(shù)據(jù),分組,并路由到對(duì)端的接受方式,發(fā)出報(bào)警;
…………等等,還有好多,這里就列出幾個(gè)常用的組件!
Prometheus官方文檔中的架構(gòu)圖:

官方的架構(gòu)圖中,主要模塊塊包括:Prometheus server, exporters, Pushgateway, PromQL, Alertmanager 以及圖形界面;
大致的工作流程是:
(1)Prometheus server 定期從配置好的 jobs 或者 exporters 中拉 metrics,或者接收來(lái)自 Pushgateway 發(fā)過(guò)來(lái)的 metrics,或者從其他的 Prometheus server 中拉 metrics;
(2)Prometheus server 在本地存儲(chǔ)收集到的 metrics,并運(yùn)行已定義好的 alert.rules,記錄新的時(shí)間序列或者向 Alertmanager 推送警報(bào);
(3)Alertmanager 根據(jù)配置文件,對(duì)接收到的警報(bào)進(jìn)行處理,發(fā)出告警;
(4)在圖形界面中,可視化采集數(shù)據(jù);

注意:上述三臺(tái)服務(wù)器上必須具備最基本的docker環(huán)境,上述環(huán)境的docker版本為18.09.0!
上述環(huán)境所需組件的作用如下:
- Prometheus server:普羅米修斯的主服務(wù)器(端口:9090);
- NodeEXporter:負(fù)責(zé)收集Host硬件信息和操作系統(tǒng)信息,(端口:9100);
- cAdvisor:負(fù)責(zé)收集Host上運(yùn)行的容器信息(端口:8080);
- Grafana:負(fù)責(zé)展示普羅米修斯監(jiān)控界面(3000);
- Alertmanager:用來(lái)接收Prometheus發(fā)送的報(bào)警信息,并且執(zhí)行設(shè)置好的報(bào)警方式,報(bào)警內(nèi)容(同樣也是在dockerA主機(jī)上部署,端口:9093);
各組件的關(guān)系:NodeEXporter、cAdvisor負(fù)責(zé)收集信息發(fā)送給 Prometheus server,在由 Prometheus server交給Grafana進(jìn)行圖形化的顯示。如需報(bào)警,則由prometheus向Alertmanager組件發(fā)送信息!
實(shí)驗(yàn)環(huán)境,為了簡(jiǎn)單起見(jiàn),關(guān)閉防火墻、SELinux,實(shí)際環(huán)境中需開(kāi)啟相應(yīng)的端口!
NodeEXporter主要負(fù)責(zé)收集Host硬件信息和操作系統(tǒng)信息!
[root@dockerA ~]# docker run -d --name node -p 9100:9100 -v /proc:/host/proc -v /sys:/host/sys -v /:/rootfs --net=host prom/node-exporter --path.procfs /host/proc --path.sysfs /host/sys --collector.filesystem.ignored-mount-points "^/(sys|proc|dev|host|etc)($|/)"
//使用prom/node-exporter 鏡像創(chuàng)建一個(gè)名為node的容器,用于收集硬件和系統(tǒng)信息;
//--net=host表示Prometheus server可以直接與node-exporter通信;
//并映射9100端口執(zhí)行完成后,客戶端使用瀏覽器進(jìn)行訪問(wèn),如圖:
訪問(wèn)到以上頁(yè)面表示node-exporter這個(gè)組件安裝成功!
由于這個(gè)NodeEXporter組件需要在三臺(tái)docker host主機(jī)上,所以以上命令就需要在另外兩臺(tái)主機(jī)上都執(zhí)行。執(zhí)行完成后,自行使用瀏覽器訪問(wèn)測(cè)試!
cAdvisor主要負(fù)責(zé)收集Host上運(yùn)行的容器信息!
[root@dockerA ~]# docker run -v /:/rootfs:ro -v /var/run:/var/run/:rw -v /sys:/sys:ro -v /var/lib/docker:/var/lib/docker:ro -p 8080:8080 --detach=true --name=cadvisor --net=host google/cadvisor客戶端訪問(wèn)測(cè)試:
訪問(wèn)到上述頁(yè)面則表示cAdvisor這個(gè)組件安裝成功!
同樣這個(gè)cAdvisor組件也是需要在三臺(tái)docker host上全部安裝的!所以以上命令也需在另外兩臺(tái)主機(jī)上執(zhí)行,執(zhí)行完成后,自行測(cè)試!
Prometheus是普羅米修斯的主服務(wù)器!
在部署Prometheus之前,需要對(duì)它的配置文件進(jìn)行修改,所以首先運(yùn)行一個(gè)Prometheus容器將其配置文件復(fù)制到本地,便于進(jìn)行修改。
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host prom/prometheus
//運(yùn)行一個(gè)Prometheus容器是為了將它的配置文件拿到本地
[root@dockerA ~]# docker cp prometheus:/etc/prometheus/prometheus.yml .
//將Prometheus容器中的主配置文件復(fù)制到本地
[root@dockerA ~]# vim prometheus.yml //編輯主配置文件
- targets: ['localhost:9090','localhost:8080','localhost:9100','192.168.1.2:8080','192.168.1.2:9100','192.168.1.3:8080','192.168.1.3:9100']
//這項(xiàng)原本是存在的,只需修改即可!
//用于指定監(jiān)控本機(jī)的9090、8080、9100這三個(gè)端口,另外添加另外兩臺(tái)docker主機(jī)的8080、9100這兩個(gè)端口。
//8080端口運(yùn)行的是cAdvisor服務(wù)
//9100端口運(yùn)行的是node-exporter服務(wù)
//9090端口運(yùn)行的就是Prometheus服務(wù)
[root@dockerA ~]# docker rm prometheus -f //將剛才運(yùn)行的容器刪除
prometheus
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
//重新運(yùn)行一個(gè)prometheus容器,將剛才修改完成的配置文件掛載到容器中客戶端訪問(wèn)測(cè)試:

grafana主要負(fù)責(zé)展示普羅米修斯監(jiān)控界面,給我們提供良好的圖形化界面!
[root@dockerA ~]# mkdir grafana-storage
[root@dockerA ~]# chmod 777 -R grafana-storage
//創(chuàng)建一個(gè)目錄,賦予777的權(quán)限
[root@dockerA ~]# docker run -d -p 3000:3000 --name grafana -v /root/grafana-storage:/var/lib/grafana -e "GF_SECURITY_ADMIN_PASSWORD=123.com" grafana/grafana
//“-e”選項(xiàng)表示修改容器內(nèi)部的環(huán)境變量,將admin用戶的密碼更改為123.com;客戶端訪問(wèn)測(cè)試:




上述配置完成后,我們就需要配置它以什么樣的形式來(lái)給我們展示了,可以自定義,但是很麻煩,我選擇直接去grafana官網(wǎng)尋找現(xiàn)成的模板。如圖:


將grafana官方的模板導(dǎo)入到我們的grafana容器提供的web頁(yè)面中,方法有兩種方式:
在grafana官網(wǎng)選擇自己喜歡的模板,點(diǎn)擊進(jìn)入,如圖:
下載后,回到自己搭建的grafana容器提供的web頁(yè)面中,如圖:



但是仔細(xì)看的話,會(huì)發(fā)現(xiàn)這個(gè)模板有些信息都檢測(cè)不到,所以這里就是為了展示一種方式導(dǎo)入模板的方式。個(gè)人建議推薦使用第二種方式!
選擇合適的模板后,記錄其ID號(hào),如圖:
記錄下模板的ID號(hào)之后,同樣回到自己搭建的grafana容器提供的web頁(yè)面中,如圖:



至此web界面的監(jiān)控就部署完成了!
Prometheus的報(bào)警方式有好幾種,比如:郵箱、微信、釘釘?shù)龋敬伟咐捎绵]箱告警的方式。
Alertmanager組件主要是用來(lái)接收Prometheus發(fā)送的報(bào)警信息,并且執(zhí)行設(shè)置好的報(bào)警方式,報(bào)警內(nèi)容;
只需在dockerA主機(jī)上部署即可!方法如下:
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 prom/alertmanager
//隨便運(yùn)行一個(gè)容器,其目的就是將容器中服務(wù)的配置文件拿到本地
[root@dockerA ~]# docker cp alertmanager:/etc/alertmanager/alertmanager.yml .
//將altermanager服務(wù)的yml配置文件拿到本地
[root@dockerA ~]# vim alertmanager.yml //編輯配置文件
global:
resolve_timeout: 5m
smtp_from: '1454295320@qq.com' #發(fā)送者信息
smtp_smarthost: 'smtp.qq.com:465'
smtp_auth_username: '1454295320@qq.com' #接收者信息
smtp_auth_password: 'gfuxsudyqyulbaad' #使用qq郵箱生成的授權(quán)碼
smtp_require_tls: false
smtp_hello: 'qq.com'
route:
group_by: ['alertname'] #采用默認(rèn)組
group_wait: 5s
group_interval: 5s
repeat_interval: 5m
receiver: 'email'
receivers:
- name: 'email'
email_configs:
- to: '1454295320@qq.com' //發(fā)送者信息
send_resolved: true //當(dāng)容器恢復(fù)正常時(shí),也會(huì)發(fā)送一份郵件
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance']
//配置文件中常用需要修改的地方已經(jīng)做了備注alertmanager.yml配置文件中一級(jí)字段:
- global:全局配置(包括報(bào)警解決的超時(shí)時(shí)間、SMTP相關(guān)配置、各種渠道通知的API地址等新消息);
- route:用來(lái)設(shè)置報(bào)警的分發(fā)策略;
- receivers:配置告警消息接收者信息;
- inhibit_rules:抑制規(guī)則配置,當(dāng)存在與另一組匹配的警報(bào)時(shí),抑制規(guī)則將僅用于一組匹配的;
[root@dockerA ~]# docker rm -f alertmanager //將原本的alertmanager 容器刪除
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager
//重新運(yùn)行alertmanager 容器,并將配置文件掛載到容器中
//建議運(yùn)行容器之后,使用docker ps | grep alertmanager 確保容器正常運(yùn)行
//如果配置文件編寫(xiě)錯(cuò)誤,那么這個(gè)容器是無(wú)法啟動(dòng)的[root@dockerA ~]# mkdir -p prometheus/rules && cd prometheus/rules
//創(chuàng)建目錄用于存放規(guī)則的目錄
[root@dockerA rules]# vim node-up.rules //編寫(xiě)規(guī)則
groups:
- name: node-up //自定義名稱
rules:
- alert: node-up
expr: up{job="prometheus"} == 0
// job的名稱必須和prometheus配置文件中的 - job_name: 'prometheus'對(duì)應(yīng)
for: 15s
labels:
severity: 1
team: node
annotations:
summary: "{{ $labels.instance }} 已停止運(yùn)行超過(guò) 15s!"可以根據(jù)以上配置文件進(jìn)行修改,若想自己編寫(xiě)報(bào)警規(guī)則,可以參考它的官方文檔,如圖:
[root@dockerA ~]# vim prometheus.yml
8 alerting:
9 alertmanagers:
10 - static_configs:
11 - targets:
12 - 192.168.1.1:9093 //此行將原本的內(nèi)容更改為alertmanager容器的IP+端口
13
14 # Load rules once and periodically evaluate them according to the global 'evaluat ion_interval'.
15 rule_files:
16 - "/usr/local/prometheus/rules/*.rules" //這一行需要手動(dòng)添加,指定容器內(nèi)的路徑
[root@dockerA ~]# docker rm -f prometheus //修改完配置為文件后,需要將容器刪除,重新運(yùn)行一臺(tái)新的容器
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml -v /root/prometheus/rules/node-up.rules:/usr/local/prometheus/rules/node-up.rules prom/prometheus
//指定步驟(2)編寫(xiě)的rule文件的路徑,為防止格式可能會(huì)出現(xiàn)錯(cuò)誤,附上截圖一張,如下:
至此,如果prometheus頁(yè)面中的target有異常(比如宕機(jī)),那么就會(huì)給你的郵箱發(fā)送報(bào)警信息。
我手動(dòng)停掉容器,收到的郵件如下:
為了追求美觀,我們采取設(shè)置一下報(bào)警信息的模板!
[root@dockerA ~]# cd prometheus
[root@dockerA prometheus]# mkdir alertmanager-tmpl
[root@dockerA prometheus]# cd alertmanager-tmpl/
[root@dockerA prometheus]# vim email.tmpl
{{ define "email.from" }}1454295320@qq.com{{ end }}
{{ define "email.to" }}1454295320@qq.com{{ end }}
{{ define "email.to.html" }}
{{ range .Alerts }}
=========start==========<br>
告警程序: prometheus_alert<br>
告警級(jí)別: {{ .Labels.severity }} 級(jí)<br>
告警類型: {{ .Labels.alertname }}<br>
故障主機(jī): {{ .Labels.instance }}<br>
告警主題: {{ .Annotations.summary }}<br>
觸發(fā)時(shí)間: {{ .StartsAt.Format "2019-08-04 16:58:15" }} <br>
=========end==========<br>
{{ end }}
{{ end }}
[root@dockerA ~]# vim alertmanager.yml
global:
resolve_timeout: 5m
smtp_from: '1454295320@qq.com'
smtp_smarthost: 'smtp.qq.com:465'
smtp_auth_username: '1454295320@qq.com'
smtp_auth_password: 'flnuwdktcbzwffag'
smtp_require_tls: false
smtp_hello: 'qq.com'
templates: //添加此行
- '/etc/alertmanager-tmpl/*.tmpl' //指定容器中模板的路徑
route:
group_by: ['alertname']
group_wait: 5s
group_interval: 5s
repeat_interval: 5m
receiver: 'email'
receivers:
- name: 'email'
email_configs:
- to: '{{ template "email.to" }}' //必須和模板中對(duì)應(yīng)
html: '{{ template "email.to.html" . }}' //必須和模板中對(duì)應(yīng)
send_resolved: true
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance']
[root@dockerA ~]# docker rm alertmanager -f
//刪除容器
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml -v /root/prometheus/alertmanager-tmpl:/etc/alertmanager-tmpl prom/alertmanager
//創(chuàng)建容器本地創(chuàng)建的模板文件
//創(chuàng)建完成后,確定容器是正常運(yùn)行至此,新的報(bào)警模板也生成了,如果以下容器有Down的,就會(huì)給你發(fā)送新的郵件,恢復(fù)正常后,也會(huì)發(fā)送郵件,同樣,郵件中的內(nèi)容格式是有誤的,但是你可以正常接收到報(bào)警信息,若想要更改其報(bào)警模板,可以參考官方文檔
郵箱收到的報(bào)警信息如下:
比原本的效果要好很多!就簡(jiǎn)單介紹一下這一個(gè)吧,有興趣可以參考官網(wǎng)的文檔,自行進(jìn)行編寫(xiě)!
————————————本文到此結(jié)束,感謝閱讀————————————
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
當(dāng)前文章:Docker監(jiān)控——Prometheus-創(chuàng)新互聯(lián)
分享URL:http://chinadenli.net/article8/cocpip.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供服務(wù)器托管、Google、商城網(wǎng)站、小程序開(kāi)發(fā)、全網(wǎng)營(yíng)銷(xiāo)推廣、做網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容