Ⅰ logstash怎样添加数组类型的字段
gson.fromJson(字符串,解析类);注意你解析类里面的属性名称要和json里面的字段名一回样，还有json字符串里面不能有空答格。拿你上面的举例写一个解析类:privateintcode;privateStringdata;
Ⅱ logstash filter的使用方法
Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。
在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的 input,filters,codecs和output组件，让使用者轻松实现强大的功能。
依赖条件：JAVA
Logstash运行仅仅依赖java运行环境(jre)。各位可以在命令行下运行java -version命令 显示类似如下结果：java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
为了确保成功运行Logstash建议大家使用较近期的jre版本。 可以获取开源版本的jre在：http://openjdk.java.net 或者你可以在官网下载Oracle jdk版本：http://www.oracle.com/technetwork/java/index.html 一旦jre已经成功在你的系统中安装完成，我们就可以继续了
启动和运行Logstash的两条命令示例
第一步我们先下载Logstashcurl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
现在你应该有了一个叫logstash-1.4.2.tar.gz的文件了。 我们把它解压一下tar zxvf logstash-1.4.2.tar.gz
cd logstash-1.4.2
现在我们来运行一下：bin/logstash -e 'input { stdin { } } output { stdout {} }'
我们现在可以在命令行下输入一些字符，然后我们将看到logstash的输出内容：hello world
2013-11-21T01:22:14.405+0000 0.0.0.0 hello world
Ok,还挺有意思的吧... 以上例子我们在运行logstash中，定义了一个叫"stdin"的input还有一个"stdout"的output，无论我们输入什么字符，Logstash都会按照某种格式来返回我们输入的字符。这里注意我们在命令行中使用了-e参数，该参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。
让我们再试个更有意思的例子。首先我们在命令行下使用CTRL-C命令退出之前运行的Logstash。现在我们重新运行Logstash使用下面的命令：bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'
我们再输入一些字符，这次我们输入"goodnight moon"：goodnight moon
{
"message" => "goodnight moon",
"@timestamp" => "2013-11-20T23:48:05.335Z",
"@version" => "1",
"host" => "my-laptop"}
以上示例通过重新设置了叫"stdout"的output(添加了"codec"参数)，我们就可以改变Logstash的输出表现。类似的我们可以通过在你的配置文件中添加或者修改inputs、outputs、filters，就可以使随意的格式化日志数据成为可能，从而订制更合理的存储格式为查询提供便利。
使用Elasticsearch存储日志
现在，你也许会说："它看起来还挺高大上的，不过手工输入字符，并把字符从控制台回显出来。实际情况并不实用"。说的好，那么接下来我们将建立Elasticsearch来存储输入到Logstash的日志数据。如果你还没有安装Elasticsearch，你可以下载RPM/DEB包或者手动下载tar包，通过以下命令：curl -O https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz
tar zxvf elasticsearch-1.1.1.tar.gz
cd elasticsearch-1.1.1/
./bin/elasticsearch
Ⅲ logstash怎么过滤交换机路由器的日志
logstash过滤交换机路来由器的日志源的写法：
写一个配置文件，可命名为logstash.conf，输入以下内容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #从文件开始处读写
}
# stdin {} #可以从标准输入读数据
}
定义的数据源，支持从文件、stdin、kafka、twitter等来源，甚至可以自己写一个input plugin。如果像上面那样用通配符写file，如果有新日志文件拷进来，它会自动去扫描。
Ⅳ logstash如何匹配失败设为空值怎么设置
一、的配置
1. 定义数据源
写一个配置文件，可命名为logstash.conf，输入以下内容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #从文件开始处读写
}
# stdin {} #可以从标准输入读数据
}
定义的数据源，支持从文件、stdin、kafka、twitter等来源，甚至可以自己写一个input plugin。如果像上面那样用通配符写file，如果有新日志文件拷进来，它会自动去扫描。
2. 定义数据的格式
根据打日志的格式，用正则表达式进行匹配
filter {
#定义数据的格式
grok {
match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:ringTime:int}\|\|"}
}
}
由于打日志的格式是这样的：
2015-05-07-16:03:04|10.4.29.158|120.131.74.116|WEB|11299073|http://quxue.renren.com/shareApp?isappinstalled=0&userId=11299073&from=groupmessage|/shareApp|null|Mozilla/5.0 (iPhone; CPU iPhone OS 8_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12D508 MicroMessenger/6.1.5 NetType/WIFI|ringTime|98||
以|符号隔开，第一个是访问时间，timestamp，作为logstash的时间戳，接下来的依次为：服务端IP，客户端的IP，机器类型(WEB/APP/ADMIN)，用户的ID(没有用0表示)，请求的完整网址，请求的控制器路径，reference，设备的信息，ringTime，请求所花的时间。
如上面代码，依次定义字段，用一个正则表达式进行匹配，DATA是logstash定义好的正则，其实就是(.*?)，并且定义字段名。
我们将访问时间作为logstash的时间戳，有了这个，我们就可以以时间为区分，查看分析某段时间的请求是怎样的，如果没有匹配到这个时间的话，logstash将以当前时间作为该条记录的时间戳。需要再filter里面定义时间戳的格式，即打日志用的格式：
filter {
#定义数据的格式
grok {#同上... }
#定义时间戳的格式
date {
match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
locale => "cn"
}
}
在上面的字段里面需要跟logstash指出哪个是客户端IP，logstash会自动去抓取该IP的相关位置信息：
filter {
#定义数据的格式
grok {#同上}
#定义时间戳的格式
date {#同上}
#定义客户端的IP是哪个字段（上面定义的数据格式）
geoip {
source => "clientIp"
}
}
同样地还有客户端的UA，由于UA的格式比较多，logstash也会自动去分析，提取操作系统等相关信息
#定义客户端设备是哪一个字段
useragent {
source => "device"
target => "userDevice"
}
哪些字段是整型的，也需要告诉logstash，为了后面分析时可进行排序，使用的数据里面只有一个时间
#需要进行转换的字段，这里是将访问的时间转成int，再传给Elasticsearch
mutate {
convert => ["ringTime", "integer"]
}
3. 输出配置
最后就是输出的配置，将过滤扣的数据输出到elasticsearch
output {
#将输出保存到elasticsearch，如果没有匹配到时间就不保存，因为日志里的网址参数有些带有换行
if [timestamp] =~ /^\d{4}-\d{2}-\d{2}/ {
elasticsearch { host => localhost }
}
#输出到stdout
# stdout { codec => rubydebug }
#定义访问数据的用户名和密码
# user => webService
# password => 1q2w3e4r
}
我们将上述配置，保存到logstash.conf，然后运行logstash
Ⅳ Logstash中output怎样使用JSON的字段值
gson.fromJson(字符串,解析抄类袭);注意你解析类里面的属性名称要和json里面的字段名一样，还有json字符串里面不能有空格。拿你上面的举例写一个解析类:privateintcode;privateStringdata;
Ⅵ 使用logstash过滤日志，正则该怎么写呢
写一个配置文件，可命名为logstash.conf，输入以下内容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #从文件开始处读写
}
# stdin {} #可以从标准输入专读数据
}
定义的数属据源，支持从文件、stdin、kafka、twitter等来源，甚至可以自己写一个input plugin。如果像上面那样用通配符写file，如果有新日志文件拷进来，它会自动去扫描。
Ⅶ logstash有些字段为空怎么办
日志是文本的吧。推荐使用logstash收集日志，使用elasticsearch做分析。 也可以使用Logstash收集，自己写程序分析，用apache lncene
Ⅷ logstash ruby 怎样获取字段的值
date{locale=>"en"match=>["timestamp","MMMddHH:mm:ss","MMMdHH:mm:ss"]}你试试
Ⅸ logstash如何将日志中字符串类型的时间转化
写一个配置文件，可命名为logstash.conf，输入以下内容：
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #从文件开始处读写
}
# stdin {} #可以从标准输回入读数据
}
定义的数据源，支答持从文件、stdin、kafka、twitter等来源，甚至可以自己写一个input plugin。如果像上面那样用通配符写file，如果有新日志文件拷进来，它会自动去扫描。