Ⅰ logstash怎樣添加數組類型的欄位
gson.fromJson(字元串,解析類);注意你解析類裡面的屬性名稱要和json裡面的欄位名一回樣，還有json字元串裡面不能有空答格。拿你上面的舉例寫一個解析類:privateintcode;privateStringdata;
Ⅱ logstash filter的使用方法
Logstash是一個接收，處理，轉發日誌的工具。支持系統日誌，webserver日誌，錯誤日誌，應用日誌，總之包括所有可以拋出來的日誌類型。
在一個典型的使用場景下(ELK)：用Elasticsearch作為後台數據的存儲，kibana用來前端的報表展示。Logstash在其過程中擔任搬運工的角色，它為數據存儲，報表查詢和日誌解析創建了一個功能強大的管道鏈。Logstash提供了多種多樣的 input,filters,codecs和output組件，讓使用者輕松實現強大的功能。
依賴條件：JAVA
Logstash運行僅僅依賴java運行環境(jre)。各位可以在命令行下運行java -version命令 顯示類似如下結果：java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
為了確保成功運行Logstash建議大家使用較近期的jre版本。 可以獲取開源版本的jre在：http://openjdk.java.net 或者你可以在官網下載Oracle jdk版本：http://www.oracle.com/technetwork/java/index.html 一旦jre已經成功在你的系統中安裝完成，我們就可以繼續了
啟動和運行Logstash的兩條命令示例
第一步我們先下載Logstashcurl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
現在你應該有了一個叫logstash-1.4.2.tar.gz的文件了。 我們把它解壓一下tar zxvf logstash-1.4.2.tar.gz
cd logstash-1.4.2
現在我們來運行一下：bin/logstash -e 'input { stdin { } } output { stdout {} }'
我們現在可以在命令行下輸入一些字元，然後我們將看到logstash的輸出內容：hello world
2013-11-21T01:22:14.405+0000 0.0.0.0 hello world
Ok,還挺有意思的吧... 以上例子我們在運行logstash中，定義了一個叫"stdin"的input還有一個"stdout"的output，無論我們輸入什麼字元，Logstash都會按照某種格式來返回我們輸入的字元。這里注意我們在命令行中使用了-e參數，該參數允許Logstash直接通過命令行接受設置。這點尤其快速的幫助我們反復的測試配置是否正確而不用寫配置文件。
讓我們再試個更有意思的例子。首先我們在命令行下使用CTRL-C命令退出之前運行的Logstash。現在我們重新運行Logstash使用下面的命令：bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'
我們再輸入一些字元，這次我們輸入"goodnight moon"：goodnight moon
{
"message" => "goodnight moon",
"@timestamp" => "2013-11-20T23:48:05.335Z",
"@version" => "1",
"host" => "my-laptop"}
以上示例通過重新設置了叫"stdout"的output(添加了"codec"參數)，我們就可以改變Logstash的輸出表現。類似的我們可以通過在你的配置文件中添加或者修改inputs、outputs、filters，就可以使隨意的格式化日誌數據成為可能，從而訂制更合理的存儲格式為查詢提供便利。
使用Elasticsearch存儲日誌
現在，你也許會說："它看起來還挺高大上的，不過手工輸入字元，並把字元從控制台回顯出來。實際情況並不實用"。說的好，那麼接下來我們將建立Elasticsearch來存儲輸入到Logstash的日誌數據。如果你還沒有安裝Elasticsearch，你可以下載RPM/DEB包或者手動下載tar包，通過以下命令：curl -O https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz
tar zxvf elasticsearch-1.1.1.tar.gz
cd elasticsearch-1.1.1/
./bin/elasticsearch
Ⅲ logstash怎麼過濾交換機路由器的日誌
logstash過濾交換機路來由器的日誌源的寫法：
寫一個配置文件，可命名為logstash.conf，輸入以下內容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #從文件開始處讀寫
}
# stdin {} #可以從標准輸入讀數據
}
定義的數據源，支持從文件、stdin、kafka、twitter等來源，甚至可以自己寫一個input plugin。如果像上面那樣用通配符寫file，如果有新日誌文件拷進來，它會自動去掃描。
Ⅳ logstash如何匹配失敗設為空值怎麼設置
一、的配置
1. 定義數據源
寫一個配置文件，可命名為logstash.conf，輸入以下內容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #從文件開始處讀寫
}
# stdin {} #可以從標准輸入讀數據
}
定義的數據源，支持從文件、stdin、kafka、twitter等來源，甚至可以自己寫一個input plugin。如果像上面那樣用通配符寫file，如果有新日誌文件拷進來，它會自動去掃描。
2. 定義數據的格式
根據打日誌的格式，用正則表達式進行匹配
filter {
#定義數據的格式
grok {
match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:ringTime:int}\|\|"}
}
}
由於打日誌的格式是這樣的：
2015-05-07-16:03:04|10.4.29.158|120.131.74.116|WEB|11299073|http://quxue.renren.com/shareApp?isappinstalled=0&userId=11299073&from=groupmessage|/shareApp|null|Mozilla/5.0 (iPhone; CPU iPhone OS 8_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12D508 MicroMessenger/6.1.5 NetType/WIFI|ringTime|98||
以|符號隔開，第一個是訪問時間，timestamp，作為logstash的時間戳，接下來的依次為：服務端IP，客戶端的IP，機器類型(WEB/APP/ADMIN)，用戶的ID(沒有用0表示)，請求的完整網址，請求的控制器路徑，reference，設備的信息，ringTime，請求所花的時間。
如上面代碼，依次定義欄位，用一個正則表達式進行匹配，DATA是logstash定義好的正則，其實就是(.*?)，並且定義欄位名。
我們將訪問時間作為logstash的時間戳，有了這個，我們就可以以時間為區分，查看分析某段時間的請求是怎樣的，如果沒有匹配到這個時間的話，logstash將以當前時間作為該條記錄的時間戳。需要再filter裡面定義時間戳的格式，即打日誌用的格式：
filter {
#定義數據的格式
grok {#同上... }
#定義時間戳的格式
date {
match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
locale => "cn"
}
}
在上面的欄位裡面需要跟logstash指出哪個是客戶端IP，logstash會自動去抓取該IP的相關位置信息：
filter {
#定義數據的格式
grok {#同上}
#定義時間戳的格式
date {#同上}
#定義客戶端的IP是哪個欄位（上面定義的數據格式）
geoip {
source => "clientIp"
}
}
同樣地還有客戶端的UA，由於UA的格式比較多，logstash也會自動去分析，提取操作系統等相關信息
#定義客戶端設備是哪一個欄位
useragent {
source => "device"
target => "userDevice"
}
哪些欄位是整型的，也需要告訴logstash，為了後面分析時可進行排序，使用的數據裡面只有一個時間
#需要進行轉換的欄位，這里是將訪問的時間轉成int，再傳給Elasticsearch
mutate {
convert => ["ringTime", "integer"]
}
3. 輸出配置
最後就是輸出的配置，將過濾扣的數據輸出到elasticsearch
output {
#將輸出保存到elasticsearch，如果沒有匹配到時間就不保存，因為日誌里的網址參數有些帶有換行
if [timestamp] =~ /^\d{4}-\d{2}-\d{2}/ {
elasticsearch { host => localhost }
}
#輸出到stdout
# stdout { codec => rubydebug }
#定義訪問數據的用戶名和密碼
# user => webService
# password => 1q2w3e4r
}
我們將上述配置，保存到logstash.conf，然後運行logstash
Ⅳ Logstash中output怎樣使用JSON的欄位值
gson.fromJson(字元串,解析抄類襲);注意你解析類裡面的屬性名稱要和json裡面的欄位名一樣，還有json字元串裡面不能有空格。拿你上面的舉例寫一個解析類:privateintcode;privateStringdata;
Ⅵ 使用logstash過濾日誌，正則該怎麼寫呢
寫一個配置文件，可命名為logstash.conf，輸入以下內容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #從文件開始處讀寫
}
# stdin {} #可以從標准輸入專讀數據
}
定義的數屬據源，支持從文件、stdin、kafka、twitter等來源，甚至可以自己寫一個input plugin。如果像上面那樣用通配符寫file，如果有新日誌文件拷進來，它會自動去掃描。
Ⅶ logstash有些欄位為空怎麼辦
日誌是文本的吧。推薦使用logstash收集日誌，使用elasticsearch做分析。 也可以使用Logstash收集，自己寫程序分析，用apache lncene
Ⅷ logstash ruby 怎樣獲取欄位的值
date{locale=>"en"match=>["timestamp","MMMddHH:mm:ss","MMMdHH:mm:ss"]}你試試
Ⅸ logstash如何將日誌中字元串類型的時間轉化
寫一個配置文件，可命名為logstash.conf，輸入以下內容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #從文件開始處讀寫
}
# stdin {} #可以從標准輸回入讀數據
}
定義的數據源，支答持從文件、stdin、kafka、twitter等來源，甚至可以自己寫一個input plugin。如果像上面那樣用通配符寫file，如果有新日誌文件拷進來，它會自動去掃描。