SysNucleus WebHarvy(网页数据抓取工具)

WebHarvy是一款专业的网页数据抓取工具，它能够自动从多个页面中提取文本、图片、网址及电子邮件等信息，用户可直接在网页上点选需要抓取的资源，或保存整个页面为HTML格式。软件可智能识别网页中的数据模式，支持将抓取的数据导出为Excel、CSV、JSON、XML、TSV等多种格式，并能通过指定“下一页”链接自动遍历和采集分页内容。

SysNucleus WebHarvy适用于从电商网站、房地产列表、学术资料、娱乐与技术资讯等多种类型的网站中高效采集结构化数据，满足研究、分析或商业整合等需求。

功能特点

1、简单的网页抓取

通过 WebHarvy 的点击界面，网页抓取变得非常简单。无需编写代码或脚本来抓取数据。您将使用 WebHarvy 的内置浏览器加载和导航网站，并且可以通过单击鼠标选择要抓取的数据。

2、智能模式检测

WebHarvy 自动识别网页中出现的数据模式。要从网页中抓取项目列表或表格（名称、地址、电子邮件、价格等），不需要额外的配置。如果数据重复，WebHarvy 会自动抓取它。

3、保存到文件或数据库

抓取的数据可以以多种格式保存。当前版本的 WebHarvy 网页抓取软件允许您将抓取的数据保存为 Excel、XML、CSV、JSON 或 TSV 文件。您还可以将数据导出到 SQL 数据库。

4、处理分页

网站通常会在多个页面中显示产品列表或搜索结果等数据。WebHarvy 可以自动从多个页面爬行和抓取数据。只需指出“下一页的链接”，WebHarvy 就会自动从所有页面中抓取数据。

5、提交关键词

通过自动向搜索表单提交输入关键字列表来抓取数据。可以将任意数量的输入关键字提交到多个输入文本字段来执行搜索。可以从输入关键字的所有组合的搜索结果中抓取数据。

6、保护隐私

为了匿名抓取数据并防止网络抓取软件被网络服务器阻止，您可以选择通过代理服务器或 VPN 访问目标网站。可以使用单个代理服务器或代理服务器列表。

7、类别抓取

WebHarvy 允许您从指向网站内类似页面/列表的链接列表中抓取数据。这允许您使用单一配置来抓取网站内的类别和子类别。

8、常用表达

正则表达式 (RegEx) 可以应用于网页的文本或 HTML 源来抓取匹配部分。这种强大的技术为您在抓取数据时提供了更大的灵活性和控制力。

9、JavaScript 支持

在抓取数据之前，在浏览器中运行您自己的 JavaScript 代码。这可用于与页面元素交互、修改 DOM 或调用目标页面中已实现的 JavaScript 函数。

10、图像抓取

可以下载图像或抓取图像 URL。WebHarvy 可以自动抓取电子商务网站产品详细信息页面中显示的多张图像。

11、自动执行浏览器任务

WebHarvy 可以轻松配置为执行诸如 单击链接、 选择列表/下拉选项、在字段中输入文本、 滚动页面、 打开弹出窗口等任务。

软件优势

1、需要 Windows

WebHarvy 需要 Windows 操作系统才能运行。如果您想在 Mac 上运行 WebHarvy，您应该通过 BootCamp 安装 Windows 或通过 Parallels 运行 WebHarvy。目前不支持 OS X / macOS。

2、基于 Chrome 构建

最新版本的 WebHarvy 是使用 Google 的开源 Chrome 浏览器项目构建的，这使得它更加安全、稳定和更快。

3、从云运行

WebHarvy 可以在 Amazon AWS EC2 Windows 实例中运行。