❶ logstash好用不
ight © 1999-2020, CSDN.NET, All Rights Reserved
機器學習
登錄
yinbiao123456
關注
Logstash介紹 原創
2019-01-24 20:27:03
yinbiao123456
碼齡3年
關注
目錄
1 工作原理
1.1 輸入
1.2 過濾器
1.3 輸出
2 安裝Logstash
3 Logstash實例
3.1 過濾器實例
3.2 日誌輸入實例
4 Logstash小結
5 Flume與Logstash對比
Logstash是一個開源數據收集引擎，具有實時管道功能。Logstash可以動態地將來自不同數據源的數據統一起來，並將數據標准化到你所選擇的目的地進行存儲。盡管Logstash的早期目標是搜集日誌，現在它的功能已完全不只於此。任何事件類型都可以加入分析，通過輸入、過濾器和輸出插件進行轉換。與此同時，還提供了很多原生編解碼工具簡化消息處理。Logstash通過海量數據處理和多種多樣的數據格式支持延伸了我們對數據的洞察力。
ELK 是Logstash的典型使用場景，用Elasticsearch作為後台數據的存儲，kibana用來前端的報表展示，Logstash在其過程中擔任搬運工的角色。下面我們將詳細講述Logstash相關原理和功能。
1 工作原理
Logstash使用管道方式進行日誌的搜集處理和輸出。Logstash管道有兩個必需的元素，輸入和輸出，以及一個可選元素過濾器。輸入插件從數據源那裡消費數據，過濾器插件根據你的期望修改數據，輸出插件將數據寫入目的地。在logstash中，包括了三個階段:輸入input --> 處理filter（不是必須的） --> 輸出output，如圖3-1所示：
圖3-1 Logstash工作原理
1.1 輸入
數據往往以各種各樣的形式，或分散或集中地存在於很多系統中。Logstash 支持各種輸入選擇 ，可以在同一時間從眾多常用來源捕捉事件。能夠以連續的流式傳輸方式，輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據，如圖3-2所示：
圖3-2數據輸入
目前，logstash主要支持的數據輸入方式為：標准輸入、文件輸入、TCP輸入、syslog輸入、http_poller抓取、kafka消息隊列輸入等。
1.2 過濾器
數據從源傳輸到存儲庫的過程中，Logstash 過濾器能夠解析各個事件，識別已命名的欄位以構建結構，並將它們轉換成通用格式，以便更輕松、更快速地分析和實現商業價值。Logstash 能夠動態地轉換和解析數據，不受格式或復雜度的影響，例如，利用利用 Grok 從非結構化數據中派生出結構、從 IP 地址破譯出地理坐標
❷ logstash 是什麼語言開發的
logstash 是什麼語言開發的
Logstash基本組成
有過使用經驗的都知道Logstash主要由輸入、過濾器、輸出三部分組成。
每一部分的插件都符合統一的標准，因此擴展起來也十分容易。
自定義過濾器插件
由於需求大多都是集中在過濾部分，因此這里就簡單的介紹下過濾器的自定義寫法。
官網上面的過程太過繁瑣，比如：
1 創建github開源工程
2 拷貝樣例工程
3 替換樣例工程基本信息
4 編寫業務代碼
5 安裝插件
6 分享與貢獻