爬山虎采集器

软件介绍

爬山虎采集器V2是一款支持99%的网站数据采集的高效网页信息采集软件，爬山虎采集器能生成Excel表格，api数据库文件等内容，帮助你管理网站数据信息，如果您需要对某个指定网页数据进行采集，使用这款软件即可。

软件特色

一键提取数据

简单易学，通过可视化界面，鼠标点击即可抓取数据

快速高效

内置一套高速浏览器内核，加上HTTP引擎模式，实现快速采集数据

适用各种网站

能够采集互联网99%的网站,包括单页应用Ajax加载等等动态类型网站

功能介绍

向导模式

简单易用，轻松通过鼠标点击自动生成

脚本定时运行

可按照计划定时运行，无需人工

独创高速内核

自研的浏览器内核，速度飞快，远超对手

智能识别

对于网页中的列表、表单结构（多选框下拉列表等）能够智能识别

广告屏蔽

定制的广告屏蔽模块，兼容AdblockPlus语法，可添加自定义规则

多种数据导出

支持Txt、Excel、MySQL、SQLServer、SQlite、Access、网站等

使用方法

第一步：输入采集网址

打开软件，新建任务，输入需要采集的网站地址。

第二步：智能分析，全程自动化提取数据

进入到第二步后，爬山虎采集器全自动智能分析网页，并且从中提取出列表数据。

第三步：导出数据到表格、数据库、网站等

运行任务，将采集到的数据导出为Csv、Excel以及各种数据库，支持api导出。

常见问题

问：如何过滤列表中的前N个数据？

1.有时我们需要对采集到的列表进行过滤，比如过滤掉第一组数据（在采集表格时，过滤掉表格列名）

2.点击列表模式菜单中的，设置列表xpath

问：如何抓包获取Cookie，并且手动设置？

1.首先，使用谷歌浏览器打开要采集的网站，并且登陆。

2.然后按下F12,会出现开发者工具，选择Network

3.然后按下F5，刷新下页面，选择其中一个请求。

4.复制完成后，在爬山虎采集器中，编辑任务，进入第三步，指定HTTPHeader。

更新日志

1.增加插件功能

2.增加导出txt(一条保存为一个文件)

3.多值连接符支持换行符

4.修改数据处理的文本映射(支持查找替换)

5.修复登陆时的DNS问题

6.修复图片下载问题

7.修复json一些问题