rrd是什么格式

RRD是Round Robin Database的縮寫(xiě)，用于記錄固定數(shù)目，具有循環(huán)特性，并且在當(dāng)前時(shí)間點(diǎn)有特定值的數(shù)據(jù)（比如以天為單位記錄氣溫）。

創(chuàng)新互聯(lián)公司服務(wù)項(xiàng)目包括瓊山網(wǎng)站建設(shè)、瓊山網(wǎng)站制作、瓊山網(wǎng)頁(yè)制作以及瓊山網(wǎng)絡(luò)營(yíng)銷(xiāo)策劃等。多年來(lái)，我們專(zhuān)注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，瓊山網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到瓊山省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

RRDtool是由Tobias Oetikertobi@oetiker.ch和廣大開(kāi)源愛(ài)好者貢獻(xiàn)的遵循工業(yè)標(biāo)準(zhǔn)的、開(kāi)源、高性能的RRD數(shù)據(jù)存儲(chǔ)、圖像生成工具包。可以用于編寫(xiě)自定義的系統(tǒng)監(jiān)控shell腳本它支持Perl、Python、Ruby、TCL和PHP（編譯為擴(kuò)展模塊）等語(yǔ)言，可以輕松的構(gòu)建跨平臺(tái)的監(jiān)控應(yīng)用程序。

ganglia可以對(duì)hadoop集群進(jìn)行監(jiān)控和報(bào)警嗎

ganglia簡(jiǎn)介

名詞說(shuō)明?

引用自此博客介紹

Metrics- 監(jiān)控電腦的運(yùn)行數(shù)據(jù)

Node - 一臺(tái)電腦，或許擁有多個(gè)CPU，中文稱(chēng)之為節(jié)點(diǎn)。

Cluster - 一組節(jié)點(diǎn)，中文稱(chēng)之為簇。通常節(jié)點(diǎn)之間擁有達(dá)到G比特的高帶寬，簇內(nèi)通過(guò)組播協(xié)議，每個(gè)節(jié)點(diǎn)組播自己的數(shù)據(jù)，所以每個(gè)節(jié)點(diǎn)擁有整個(gè)簇的狀態(tài)，這種冗余設(shè)計(jì)可以提高簇的魯棒性。一般簇內(nèi)節(jié)點(diǎn)為相同的系統(tǒng)和體系結(jié)構(gòu)，由同一個(gè)管理員管理。

Grid - 一組簇，中文可稱(chēng)之為網(wǎng)格。網(wǎng)格的用處是在一個(gè)大范圍內(nèi)把各異構(gòu)的簇通過(guò)寬帶匯聚在一起。?

Ganglia的各種組成

功能

名稱(chēng)及配置文件

位置

數(shù)據(jù)采集器 ? ?名叫g(shù)mond（Ganglia MONitor Daemon）的服務(wù)程序，配置文件是/etc/ganglia/gmond.conf ? ?位于每個(gè)Node上 ?

數(shù)據(jù)混合收集器 ? ?名叫g(shù)metad（Ganglia METAdata Daemon）的服務(wù)程序，配置文件是/etc/ganglia/gmetad.conf。它通過(guò)輪詢(xún)收集gmond的數(shù)據(jù),并聚合簇的各類(lèi)信息，然后保存在本地rrdtool的數(shù)據(jù)庫(kù)中 ? ?最好每個(gè)cluster都有一個(gè)gmetad，以便能構(gòu)建多級(jí)網(wǎng)絡(luò) ?

Web可視化工具 ? ?這是用PHP腳本實(shí)現(xiàn)的將數(shù)據(jù)可視化，并畫(huà)出表格。可以是任何支持PHP、SSL和XML的web服務(wù)器。一般都用Apache2 web服務(wù)器 ? ?一般與gmetad部署在一個(gè)節(jié)點(diǎn)上 ?

額外的高級(jí)工具 gmetric可以用來(lái)添加你需要監(jiān)控的Node額外狀態(tài) ?

gstat可以直接獲得Ganglia的數(shù)據(jù) 每臺(tái)需要這些功能的Node上 ?

實(shí)驗(yàn)環(huán)境

機(jī)器

系統(tǒng)

軟件

ip1 ? ?centos 7 ? ?gmetad + gmond +ganglia-web 3.7.2 ?

ip2 ? ?centos 5 ? ?gmond 3.7.1 ?

ip3 ? ?centos 5 ? ?gmond 3.7.1 ?

ip4 ? ?centos 5 ? ?gmond 3.7.1 ?

ip5 ? ?centos 5 ? ?gmond 3.7.1 ?

ip6 ? ?centos 5 ? ?gmond 3.7.1 ?

ip7 ? ?centos 5 ? ?gmond 3.7.1 ?

ganglia安裝配置

安裝

ip1 安裝ganglia主節(jié)點(diǎn)?

yum -y install epel-release

yum -y install rrdtool httpd

yum -y install ganglia-devel ganglia-gmetad ganglia-gmond

yum -y install php ganglia-web

ip2-ip7 安裝ganglia從節(jié)點(diǎn)?

yum -y install epel-release

yum -y install ganglia-mond

配置

ganglia配置文件目錄：/etc/ganglia

rrd數(shù)據(jù)庫(kù)存放目錄：/var/lib/ganglia/rrds

httpd主站點(diǎn)目錄：/var/www/html

ganglia-web安裝目錄：/usr/share/ganglia

ganglia-web配置目錄：/etc/httpd/conf.d/ganglia.conf

相關(guān)配置文件修改

將ganglia-web安裝目錄鏈接到httpd主站點(diǎn)目錄?

將 ganglia-web 的 站 點(diǎn) 目 錄 連 接 到 httpd 主 站 點(diǎn) 目 錄 $ ln -s /usr/share/ganglia /var/www/html

修改httpd主站點(diǎn)目錄下ganglia站點(diǎn)目錄的訪問(wèn)權(quán)限?

將 ganglia 站點(diǎn)目錄訪問(wèn)權(quán)限改為 apache:apache，否則會(huì)報(bào)錯(cuò)

$ ?chown -R apache:apache /var/www/html/ganglia

$ ?chmod -R 755 /var/www/html/ganglia12

- 修改rrd數(shù)據(jù)庫(kù)存放目錄訪問(wèn)權(quán)限 將 rrd 數(shù)據(jù)庫(kù)存放目錄訪問(wèn)權(quán)限改為12

$ chown -R ganglia:ganglia /var/lib/ganglia/rrds

- 修改ganglia-web的訪問(wèn)權(quán)限：修改/etc/httpd/conf.d/ganglia.conf ?

12

Alias /ganglia /usr/share/ganglia

Location /ganglia

Require all granted ?

#Require ip 10.1.2.3 ?

#Require host example.org

/Location123456

配置/etc/ganglia/gmond.conf

cluster { ? ?

name = "hadoop cluster" ? ?... } ?

udp_send_channel { ? ?

#the host who gather this cluster's monitoring data and send these data ? to gmetad node ? ? ?

host = ip1

port = 8649 } ?

udp_recv_channel { ? ?

port = 8649 ?} ?

tcp_accept_channel {

port = 8649 ?} ?123456789101112131415161718

2.2 Hadoop cluster被監(jiān)測(cè)節(jié)點(diǎn)的配置 配置/etc/ganglia/gmond.conf

cluster { ? ?

name = "hadoop cluster" ? ?... ?} ?

udp_send_channel { ? ?

# the host who gather this cluster's monitoring data and send these data ? to gmetad node ? ?

host = ip1 ? ? ?

port = 8649 ?} ?

udp_recv_channel {

port = 8649 ?} ?

tcp_accept_channel {

port = 8649 ?}1234567891011121314151617

Hadoop配置

主節(jié)點(diǎn)：

# 修改/hadoop/etc/hadoop/hadoop-metrics2.propertiesnamenode.sink.ganglia.servers=ip1:8649resourcemanager.sink.ganglia.servers=ip1:8649mrappmaster.sink.ganglia.servers=ip1:8649jobhistoryserver.sink.ganglia.servers=ip1:8649*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.sink.ganglia.period=10*.sink.ganglia.supportsparse=true

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both

*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=401234567891011

從節(jié)點(diǎn)

datanode.sink.ganglia.servers=ip1:8649nodemanager.sink.ganglia.servers=ip1:8649*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.sink.ganglia.period=10*.sink.ganglia.supportsparse=true

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both

*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=401234567

成果

可以看到有datanode相關(guān)信息

注意問(wèn)題

ganglia反應(yīng)有點(diǎn)慢，每次重啟后，數(shù)據(jù)得等一陣子才顯示出來(lái)。這個(gè)也跟設(shè)置的有關(guān)，10秒一次顯示

我本來(lái)配置每個(gè)節(jié)點(diǎn)都有g(shù)mond，cluster的信息發(fā)送到本地的gmond，由gmond發(fā)送給gmetad，但是一直不成功。我使用了telnet localhost 8649，能看到數(shù)據(jù)，但是gmetad就是不顯示。暫時(shí)也沒(méi)找到什么原因。

如何設(shè)計(jì)一個(gè)mysql性能監(jiān)控的軟件

首先介紹下 pt-stalk，它是 Percona-Toolkit 工具包中的一個(gè)工具，說(shuō)起 PT 工具包大家都不陌生，平時(shí)常用的 pt-query-digest、 pt-online-schema-change 等工具都是出自于這個(gè)工具包，這里就不多介紹了。

pt-stalk 的主要功能是在出現(xiàn)問(wèn)題時(shí)收集 OS 及 MySQL 的診斷信息，這其中包括：

1. OS 層面的 CPU、IO、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)等信息；

2. MySQL 層面的行鎖等待、會(huì)話連接、主從復(fù)制，狀態(tài)參數(shù)等信息。

而且 pt-stalk 是一個(gè) Shell腳本，對(duì)于我這種看不懂 perl 的人來(lái)說(shuō)比較友好，腳本里面的監(jiān)控邏輯與監(jiān)控命令也可以拿來(lái)參考，用于構(gòu)建自己的監(jiān)控體系。

三、使用

接著我們來(lái)看下如何使用這個(gè)工具。

pt-stalk 通常以后臺(tái)服務(wù)形式監(jiān)控 MySQL 并等待觸發(fā)條件，當(dāng)觸發(fā)條件時(shí)收集相關(guān)診斷數(shù)據(jù)。

觸發(fā)條件相關(guān)的參數(shù)有以下幾個(gè)：

function：

°?默認(rèn)為 status，代表監(jiān)控 SHOW GLOBAL STATUS 的輸出；

°?也可以設(shè)置為 processlist，代表監(jiān)控 show processlist 的輸出；

variable：

°?默認(rèn)為 Threads_running，代表 監(jiān)控參數(shù)，根據(jù)上述監(jiān)控輸出指定具體的監(jiān)控項(xiàng)；

threshold：

°?默認(rèn)為 25，代表 監(jiān)控閾值，監(jiān)控參數(shù)超過(guò)閾值，則滿足觸發(fā)條件；

°?監(jiān)控參數(shù)的值非數(shù)字時(shí)，需要配合 match 參數(shù)一起使用，如 processlist 的 state 列；

cycles：

°?默認(rèn)為 5，表示連續(xù)觀察到五次滿足觸發(fā)條件時(shí)，才觸發(fā)收集；

連接參數(shù)：host、password、port、socket。

其他一些重要參數(shù)：

iterations：該參數(shù)指定 pt-stalk 在觸發(fā)收集幾次后退出，默認(rèn)會(huì)一直運(yùn)行。

run-time：觸發(fā)收集后，該參數(shù)指定收集多長(zhǎng)時(shí)間的數(shù)據(jù)，默認(rèn) 30 秒。

sleep：該參數(shù)指定在觸發(fā)收集后，sleep 多久后繼續(xù)監(jiān)控，默認(rèn) 300 秒。

interval：指定狀態(tài)參數(shù)的檢查頻率，判斷是否需要觸發(fā)收集，默認(rèn) 1 秒。

dest：監(jiān)控?cái)?shù)據(jù)存放路徑，默認(rèn)為 /var/lib/pt-stalk。

retention-time ：監(jiān)控?cái)?shù)據(jù)保留時(shí)長(zhǎng)，默認(rèn) 30 天。

daemonize：以后臺(tái)服務(wù)運(yùn)行，默認(rèn)不開(kāi)啟。

log：后臺(tái)運(yùn)行日志，默認(rèn)為 /var/log/pt-stalk.log。

collect：觸發(fā)發(fā)生時(shí)收集診斷數(shù)據(jù)，默認(rèn)開(kāi)啟。

°?collect-gdb：收集 GDB 堆棧跟蹤，需要 gdb 工具。

°?collect-strace：收集跟蹤數(shù)據(jù)，需要 strace 工具。

°?collect-tcpdump：收集 tcpdump 數(shù)據(jù)，需要 tcpdump 工具。

網(wǎng)頁(yè)題目：rrd數(shù)據(jù)庫(kù)php rrdre
轉(zhuǎn)載來(lái)源：http://chinadenli.net/article38/hpjppp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、虛擬主機(jī)、網(wǎng)站收錄、網(wǎng)站設(shè)計(jì)公司、微信小程序、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)