导航:首页 > 净水问答 > 085345火车头过滤规则

085345火车头过滤规则

发布时间:2022-05-16 04:57:35

㈠ 火车头采集标签过滤

这个并不复杂,用到火车头的两个功能,一个是标签过滤,一个是循环采集。这两个功专能在编辑采集属规则页面里。

采集规则:

起始:<span>结尾:</span></div> 设置循环采集 设置标签过滤 把网页代码类的都去掉

㈡ 火车头过滤时候的正则表达式一个案例

试试这个表达式吧。
str.replace(/^[A[\x00-\xff]B]$/g,"[AB]")
如:
var str1 = "[A伊尔萨二恶丰富而B]";
var value1 = str1.replace(/^([A[\x00-\xff]B])$/g,"[AB]");
alert(value1);

㈢ 如何使用火车头采集器采集网页图片详细图文教程

火车头采集器采集信息分两个步骤:
1,采网址。这一步也是就告诉软件,有多少个网页需要去采,并给出具体的网页地址。
2,采内容。有了网址之后,就可以去这个网址上采集信息了,但网页上信息众多,软件不知道你想采哪些。在采内容部分,就要做规则了。告诉软件我想采什么。
1,采网址。
网页上的产品信息就是所想采的,即为目标。
在采集链接页面里,输入采集地址的列表页,这里要注意无用链接的过滤。

然后点击测试按钮测试所填信息的正确性:
测试正确以后,我们对地址进行扩展,现在我们只不过是采了一张列表页的文章地址,还有其它的列表要需要采集,其它的列表页就在它的分页上,我们观察这些分布的链接形式,找出规律,然后批量填入网址规则。

2,内容的采集
经过上面的处理,目标产品页的链接都已经能够采到,下面我们进入内容的采集。
明确好要采集的内容以后,我们开始编写采集规则,火车头采集内容是采集网页的源代码,因此我们要打开产品页的源代码,找到我们要采集信息所在的位置。比如,Description字段的采集:
找到Description的位置,找到之后,如何填写采集规则呢,很简单,只要将采集目标的开始字符串与结束字符串填入采集的对应位置。这里我们选取<span>Description:</span>作为开始字符串,</span>为结束字符串。值得注意的是,开始字符串必须在本页面是唯一的,并且在其它产品页面也存在这个字符串。本页面唯一能使软件找到要采集的位置,其它页面通用,保证软件能够采到其它页面的数据。
填完以后并不表示就能采集正确了,还需测试一下,排除一些无用数据,排除可在HTML标签排除和内容排除中进行。测试成功后,这样一个标签就制作好了。
这里我们使用通配符来实现这一要求。我们把不通用的地方用(*)通配符来表示任意。而要采集的地址我们用参数(变量)来表示。最后我们将这段内容变为:<li id="current">(*)Compare Prices(*)<a href="[参数]" onClick="(*)">Proct Details,填入模块,并测试是否成功。
如果测试没有成功,那说明你填入的内容还不符合唯一且通用的标准,还需要调试。测试成功以后,可以保存,进入标签的制作了。
这里的标签制作与上面的是一样的,找到要采集信息的所在地,填入开始结束字符串,并做好过滤,唯一的不同的在于所属页面选项里要选择刚才制作好的模块,这里就不赘述,直接显示结果了。
这样标签就制作完成了。点击更新以后,去掉发布选项,就可以进行任务的采集了。

㈣ 火车头采集器,采集无规则网址,规则设置问题

网址不规则的供*代替,<span>在html过滤规则里保留

㈤ 火车头采集器采集后想让发布的网页分页少点要添加哪个标签

既然你已经采集到数据了 那你发布时肯定分页在你的内容里面 你的内容要进行过滤
如果你说的是对方站点内容分页过多 那么就要针对他的内容进行循环采集分页才行

㈥ 火车头采集器怎么过滤除图片标签外的所有标签

火车头设置设置采集规则不是专业人士根本没法操作的
建议你试试八爪鱼采集器吧,相对简单很多,几分钟就可以上手解决你的这问题。

㈦ 火车头采集器怎么过滤删除无用信息

火车头采集器怎么过滤删除无用信息?大家在使用火车头采集器的过程中难免会版遇见某些无用的信权息或者是自己不想要采集的数据,但是因为各种各样的原因而无法避免。

对于文章内容页出现的垃圾信息,我们可以通过内容替换功能将其删除。
相对进阶一点的使用替换功能过滤删除垃圾信息还可以使用星号功能来进行模糊删除,
举例,我们通过采集规则设置需要采集一批新闻内容,结果这些新闻内容的标题中混入了几个软件下载地址,这时候我们利用过滤功能就能够方便的解决问题。

我们可以打开标题标签的编辑界面,选择内容过滤,在不得包含的内容中填入下载,这样在标题中所有包含“下载”字样的标题就会被过滤出来。

之后,我们在详细设置中对于过滤处理选择删除,就可以删除这些我们不想要的采集内容。
合理利用火车头采集器自带的过滤垃圾信息的功能,就可以大大提高我们的采集质量,避免了人工审核内容的烦恼。

㈧ 飞飞火车头采集器怎么写发布规则

1
首先讲一讲网站结构,通常网站结构为树形结构,一个网站主要包以下几种页面:首页、栏目页、文章页,其结构如下图。
其次讲一讲火车头采集原理,火车头的运行需要一套规则来指定该如何采集所需数据,即需要编写火车头采集规则,编写采集规则也是新手最头痛的问题。
火车头采集器通常通过网址抓取网站返回的源代码,然后在源代码中提取需要的信息。因此,采集数据需要先采集网址,然后再采集数据。
2
下面开始编写采集规则:
运行LocoyPlatform.exe
3
在左侧“任务列表树”选择一个分组点击右键,选择“新建任务”弹出新建任务对话框。填写任务名,网站编码一般选择自动即可。
添加起始网址
填写“第一步:采集网址规则”这里需要按照网站的树形结构逐级获取下一级结构的网址,直至获取到内容页的网址。先填写起始网址,通常为目标站首页地址。点击“添加”,在单条网址处填上火车头博客的首页地址,然后依次点击“添加” ->“完成”。
编写“多级网址获取”规则
这里需要先在起始地址页面找到所有需要采集的栏目页的代码区域,先查看起始页地址的源码,找到如图所示代码区域:
点击右侧“添加”按钮打开“添加多级网址采集规则”,选择“从页面自动分析得到地址链接”单选按钮,在下面“从该选定区域中提取网址”,“从”(左侧)文本框填上栏目地址代码区域开始之前的标志性代码(要保证其在该页的唯一性),“到”右侧文本框填上栏目地址代码区域结束之后的标志性代码,在“结果网址过滤”的“必须包含”和“不得包含”文本框填上相应代码,如果该区域没有多余的链接不需要过滤,可以不填,这里的栏目页网址必须包含“category-”。然后点击“保存”返回。
现在需要获取内容页的地址。先打开栏目页查看源码,查找内容页地址存在的区域及地址规律。按照上一步的方法先填写内容页所在区域的起始和结束标志性代码,然后分析这个区域中包含的链接与我们说需要的内容页地址链接规律,添加过滤代码。这里起始代码为“<!--显示-->”,结束代码为“<div class="page" style="float:right">”过滤代码为必须包含“read-”不得包含“#”。如图:
需要注意的是这里文章比较多会有很多分页,所以需要填写“列表分页获取”规则。通常只需要指定分页代码的区域,如有必要可以填写“组合生成列表页分页”规则。这里的列表分页规则其实代码为“<li class="pageNumber">”,结束代码为“title="下一页">”。如果勾选“自动识别分页”的话,会自动提取a标签的href属性,如果不勾选自动识别的话,需要填写组合生成列表页分页”规则。
然后保存返回,可以通过“测试网址采集”来测试规则是否正确,不正确可以返回修改规则,正确的话可以开始编写“第二步采集内容规则”。
编写“第二步采集内容规则”
先打开内容页以及内容页的源码,找到需要提取的信息的前后代码特征。以提取标题和内容为例。首先复制文章标题,然后在源码中查看该标题出现的几处地方,找一处前后代码在每一篇文章都一样的地方,该例共出现了3处,第二处的代码没有其他干扰代码。点击“添加”,标签名填“标题”,提取数据方式选择前后截取,前后代码分别为“<h1 class="ContentTitle"><strong>”和“</strong></h1>”。如果采集的内容需要作进一步处理(如替换删除编码转换过滤html等),在下方“数据处理”点击添加填写相应规则。
再添加一个标签,标签名为“内容”,按照上述方法填写内容的前后代码片段,需要注意的是,前后代码片段最好不要出现不完整的标签(如:“<div class="Content-body"” 应该写作“<div class="Content-body">”,一个完整的标签应该是以“<”开始,以“>”结束,如果<>之间的内容在各个内容页有一部分不一样,将不一样的部分用(*)代替即可),否则提取的内容会包含部分不完整的标签。通常正文包含的HTML会比较多,可以添加HTML过滤功能,建议仅保留段落(p)、图片(img)、换行(br)等标签。
测试内容采集规则
保存规则后返回采集内容规则页面,在右侧“规则测试”的典型页面文本框填上一个内容页的地址,然后点击测试,如果下面显示到的内容符合预期说明可以了,如果未获取到内容或者获取到内容不正确,返回检查并修改规则。
开始采集
选择要采集的任务规则,勾选“采网址”和“采内容”复选框,点击工具栏“开始”按钮。
后续工作
采集到的数据保存在数据库,可以通过在任务名上点右键,选择“打开DATA下任务文件夹”打开数据库所在位置,该数据库可以通过ACCESS打开和编辑。如果想要重新采集,需要通过右键选择“清空该任务网址库”和“清空任务所有采集数据”。

㈨ 火车头数据采集,规则设置问题

貌似无法避免,只能从标签的抓取规则上来想办法。
想办法让你的标签抓取内容不为空,比如你可以把抓取内容的规则设置大一点,就算这个标签为空,不要设置标签的代码过滤,应该可以抓些代码,让这个标签内容不为空,那么采集器就会正确匹配了。至于代码的干扰,后期可以通过数据的批量处理来删除。

阅读全文

与085345火车头过滤规则相关的资料

热点内容
大岭山污水管道工程 浏览:125
edi评测费用 浏览:775
废水管不停响 浏览:827
土壤阳离子交换能力最强的离子是 浏览:708
树脂桶结构图 浏览:589
喜牌饮水机多少价格 浏览:77
净水机废水管口能抬高多少 浏览:729
用于废水分离工艺的主要包括用于过滤 浏览:818
小巨人空气净化器效果怎么样 浏览:459
安全除垢剂 浏览:11
养水草用什么纯水机 浏览:678
洛恩斯净水器滤芯怎么换 浏览:677
污水处理优秀员工事迹材料 浏览:293
饮水机活性炭怎么样 浏览:619
屠宰废水污泥含量是多少 浏览:682
健康天使空气净化器怎么样 浏览:927
景区污水处理后怎么办 浏览:198
清洗反渗透膜方案 浏览:860
洁星力除垢剂主要成分 浏览:721
高压锅烧水水垢 浏览:329