使用 TDengine + collectd/StatsD + Grafana 快速搭建 IT 運維監控系統

背景介紹

TDengine是濤思數據專為物聯網、車聯網、工業互聯網、IT運維等設計和優化的大數據平臺。自從 2019年 7 月開源以來，憑借創新的數據建模設計、快捷的安裝方式、易用的編程接口和強大的數據寫入查詢性能博得了大量時序數據開發者的青睞。

IT 運維監測數據通常都是對時間特性比較敏感的數據，例如：

系統資源指標：CPU、內存、IO、帶寬等。
軟件系統指標：存活狀態、連接數目、請求數目、超時數目、錯誤數目、響應時間、服務類型及其他與業務有關的指標。

當前主流的 IT 運維系統通常包含一個數據采集模塊，一個數據存儲模塊，和一個可視化顯示模塊。collectd / statsD 作為老牌開源數據采集工具，具有廣泛的用戶群。但是 collectd / StatsD 自身功能有限，往往需要配合 Telegraf、Grafana 以及時序數據庫組合搭建成為完整的監控系統。而 TDengine 新版本支持多種數據協議接入，可以直接接受 collectd 和 statsD 的數據寫入，并提供 Grafana dashboard 進行圖形化展示。

本文介紹不需要寫一行代碼，通過簡單修改幾行配置文件，就可以快速搭建一個基于 TDengine + collectd / statsD + Grafana 的 IT 運維系統。架構如下圖：

安裝步驟

安裝 collectd， StatsD， Grafana 和 TDengine 請參考相關官方文檔。

安裝 collectd

請參考。

安裝 StatsD

請參考。

安裝 Grafana

請參考。

安裝 TDengine

從濤思數據官網頁面下載最新 TDengine-server 2.3.0.0 或以上版本安裝。

數據鏈路設置

復制 TDengine 插件到 grafana 插件目錄

1. wget -c //github.com/taosdata/grafanaplugin/releases/download/v3.1.3/tdengine-datasource-3.1.3.zip
2. sudo unzip tdengine-datasource-3.1.3.zip -d /var/lib/grafana/plugins/
3. sudo chown grafana:grafana -R /var/lib/grafana/plugins/tdengine
4. echo -e "[plugins]\nallow_loading_unsigned_plugins = tdengine-datasource\n" | sudo tee -a /etc/grafana/grafana.ini
5. sudo systemctl restart grafana-server.service

配置 collectd

在 /etc/collectd/collectd.conf 文件中增加如下內容，其中 host 和 port 請填寫 TDengine 和 taosAdapter 配置的實際值：

LoadPlugin network
<Plugin network>
  Server "<TDengine cluster/server host>" "<port for collectd>"
</Plugin>

sudo systemctl start collectd

配置 StatsD

在 config.js 文件中增加如下內容后啟動 StatsD，其中 host 和 port 請填寫 TDengine 和 taosAdapter 配置的實際值：

backends 部分添加 "./backends/repeater"
repeater 部分添加 { host:'<TDengine server/cluster host>', port: <port for StatsD>}

導入 Dashboard

使用 Web 瀏覽器訪問運行 Grafana 的服務器的3000端口 host:3000 登錄 Grafana 界面，系統初始用戶名密碼為 admin/admin。點擊左側齒輪圖標并選擇 Plugins，應該可以找到 TDengine data source 插件圖標。

導入 collectd 儀表盤

從 //github.com/taosdata/grafanaplugin/blob/master/examples/collectd/grafana/dashboards/collect-metrics-with-tdengine-v0.1.0.json 下載 dashboard json 文件，點擊左側加號圖標并選擇 Import，按照界面提示選擇 JSON 文件導入。之后可以看到如下界面的儀表盤：

導入 StatsD 儀表盤

從 //github.com/taosdata/grafanaplugin/blob/master/examples/statsd/dashboards/statsd-with-tdengine-v0.1.0.json 下載 dashboard json 文件，點擊左側加號圖標并選擇 Import，按照界面提示導入JSON文件。之后可以看到如下界面的儀表盤：