利用 TDengine Enterprise 和 TDengine Cloud 的數據接入功能，我們現在能夠將 MQTT、InfluxDB 中的數據通過規則無縫轉換至 TDengine 中，在降低成本的同時，也為用戶的數據轉換工作提供了極大的便捷性。由于該功能在實現及使用上與 Logstash 類似，本文將結合 Logstash 為大家進行解讀。
偏向于日志收集整理的 Logstash
Logstash 是一個開源的實時數據收集處理引擎，通常作為 ETL 工具使用，它可以根據轉換規則將數據從多種數據源中采集并轉換數據，然后發送到指定的存儲中。其通常與 ElasticSearch（ES）、Kibana、Beats 共同使用，形成免費開源工具組合 Elastic Stack（又稱 ELK Stack），適用于數據的采集、擴充、存儲、分析和可視化等工作。
Logstash 可以由 Beats、Kafka、DataSource 等數據源將數據轉換寫入 ES、MySQL 等數據庫中進行存儲：
數據流轉總體分為三部分：Input、Filter、Output，這三部分的定義覆蓋了數據整個的生命周期。Input 和 Output 支持編解碼器，使用編解碼器，可以在數據進入或退出管道時進行編碼或解碼，而不必使用單獨的過濾器。原始數據在 Input 中被轉換為 Event，在 Output 中 Event 被轉換為目標式數據，在配置文件中可以對 Event 中的屬性進行增刪改查。
其中，Filter 是 Logstash 功能強大的主要原因，它可以對 Logstash Event 進行豐富的處理，比如解析數據、刪除字段、類型轉換等等，常見的有如以下幾個：
- date 日期解析
- grok 正則匹配解析
- 正則表達式：
- Grok
- kibana – grokdebugger
- 正則表達式：
- dissect 分割符解析
- mutate 可以對事件中的數據進行修改，包括 rename、update、replace、convert、split、gsub、uppercase、lowercase、strip、remove_field、join、merge 等功能。
- json 按照 json 解析字段內容到指定字段中
- geoip 增加地理位置數據
- ruby 利用 ruby 代碼來動態修改 Logstash Event
filter {
grok => {
match => {
"message" => "%{SERVICE:service}"
}
pattern_definitions => {
"SERVICE" => "[a-z0-9]{10,11}"
}
}
}Logstash 在實時數據處理方面有一定的能力，也有一定的流行性，但并不是所有場景下都適用 Logstash。針對多種數據源的收集，TDengine 打造了自己的數據接入功能。
TDengine：針對多種數據源的收集
如果你使用 Elasticsearch 和 Kibana 來構建日志管理、數據分析和可視化解決方案，Logstash 可能是一個不錯的選擇，因為它與 Elasticsearch 的集成非常緊密。但 Logstash 并不適用于處理大規模時序數據，它在處理大量數據時會消耗大量的系統資源，包括內存和 CPU，在數據量很大的情況下甚至會導致出現性能問題，它的可擴展性在處理大規模數據時也可能受到限制。而且如果你最初接觸 Logstash，那你會需要付出較高的學習成本，因為 Logstash 在處理數據的各個階段（輸入、過濾、輸出）需要正確配置，錯誤的配置可能會導致數據丟失或格式錯誤。
這也是 TDengine 打造自己的數據接入功能的一些主要原因，如果你正在使用 TDengine，那這一功能一定能幫助你更便捷、更低成本地進行數據轉換工作。
目前利用 TDengine 數據接入功能，你可以輕松從 MQTT、InfluxDB 等服務器獲取數據，并高效地寫入 TDengine 數據庫中，實現數據的順暢集成和分析。這一功能負責整個過程的自動化數據接入，最大限度地減少了手動操作的工作量。同時它還具備以下特點：
- 支持 JSON 格式：充分利用 JSON 的靈活性，使用戶能夠以 JSON 格式進行數據攝取和存儲。機構可以有效地構建和管理數據，從復雜數據結構中挖掘有價值的見解。
- 支持 JSON path 提取字段：TDengine 支持 JSON path 提取，在處理 JSON 數據時更加輕松。通過精確選擇和捕獲所需的數據元素，用戶可以專注于數據集的核心內容，最大化分析效率。
- 簡單配置：提供了易于使用的配置文件，您可以在其中指定 TDengine 的超級表、子表、列和標簽，輕松定制數據接入流程以滿足特定需求。
另外 TDengine 的數據接入后還可以進行數據清洗和轉換，用戶可以根據業務需要設計相應的數據清洗和轉換規則，實現完整的數據 ETL 流程。借助上述創新功能，實時數據可以實現與高性能的 TDengine 數據庫的無縫結合，實時分析、預防性維護和數據驅動決策也擁有了無限可能。
配置方法很簡單，你只需要登錄到 TDengine 企業版或 TDengine Cloud 的 Web 管理界面，選擇 Data in 并添加 MQTT 作為數據源，簡單配置一下 InfluxDB/MQTT 數據對應到 TDengine 庫、超級表、子表的解析規則即可。具體配置方案可見《TDengine 推出重磅功能，讓 MQTT 無縫數據接入更加簡單》《TDengine 數據接入功能支持 InfluxDB 啦！》
TDengine 3.0 企業版和 TDengine Cloud 憑借簡潔易用的命令行操作，為用戶提供了高效、可靠的數據接入方法。無論你是想要從 InfluxDB/MQTT 遷移數據，還是想將多個數據源的數據集中到 TDengine 中，TDengine 3.0 企業版和 TDengine Cloud 都能夠滿足你的需求。
如果你對這一數據接入功能感興趣或正面臨數據接入難題，可以添加小T vx：tdengine，和 TDengine 的資深研發直接進行溝通。
