SysNucleus WebHarvy

WebHarvy是一款专业的网页数据抓取工具。可以自动抓取并从多个页面提取数据，你可以直接在网页上选择需要选择的资源，也可以直接将整个网页保存为HTML的格式，可以帮助用户快速从网页上提取数据并保存在不同的格式，允许您将抓取的数据导出为Excel，XML，CSV，JSON或TSV文件。智能地识别数据模式发生在web页面。 SysNucleus WebHarvy自动提取文字、图片、网址和电子邮件从网站，并保存了各种格式的内容。从网页上采集数据作为导航到包含数据和点击数据被捕获的网页一样简单。可以自动抓取并从多个网页中提取数据。只是指出了“链接到下一页'和WebHarvy网站刮板将自动刮从所有页面的数据。使用这款软件，您可以从各种网站提取数据，例如产品目录或搜索结果，这些网站可能涉及房地产，电子商务，学术研究，娱乐，技术等不同类别。

功能特点

1、简单的网页抓取
通过 WebHarvy 的点击界面，网页抓取变得非常简单。无需编写代码或脚本来抓取数据。您将使用 WebHarvy 的内置浏览器加载和导航网站，并且可以通过单击鼠标选择要抓取的数据。
2、智能模式检测
WebHarvy 自动识别网页中出现的数据模式。要从网页中抓取项目列表或表格（名称、地址、电子邮件、价格等），不需要额外的配置。如果数据重复，WebHarvy 会自动抓取它。
3、保存到文件或数据库
抓取的数据可以以多种格式保存。当前版本的 WebHarvy 网页抓取软件允许您将抓取的数据保存为 Excel、XML、CSV、JSON 或 TSV 文件。您还可以将数据导出到 SQL 数据库。
4、处理分页
网站通常会在多个页面中显示产品列表或搜索结果等数据。WebHarvy 可以自动从多个页面爬行和抓取数据。只需指出“下一页的链接”，WebHarvy 就会自动从所有页面中抓取数据。
5、提交关键词
通过自动向搜索表单提交输入关键字列表来抓取数据。可以将任意数量的输入关键字提交到多个输入文本字段来执行搜索。可以从输入关键字的所有组合的搜索结果中抓取数据。
6、保护隐私
为了匿名抓取数据并防止网络抓取软件被网络服务器阻止，您可以选择通过代理服务器或 VPN 访问目标网站。可以使用单个代理服务器或代理服务器列表。
7、类别抓取
WebHarvy 允许您从指向网站内类似页面/列表的链接列表中抓取数据。这允许您使用单一配置来抓取网站内的类别和子类别。
8、常用表达
正则表达式 (RegEx) 可以应用于网页的文本或 HTML 源来抓取匹配部分。这种强大的技术为您在抓取数据时提供了更大的灵活性和控制力。
9、JavaScript 支持
在抓取数据之前，在浏览器中运行您自己的 JavaScript 代码。这可用于与页面元素交互、修改 DOM 或调用目标页面中已实现的 JavaScript 函数。
10、图像抓取
可以下载图像或抓取图像 URL。WebHarvy 可以自动抓取电子商务网站产品详细信息页面中显示的多张图像。
11、自动执行浏览器任务
WebHarvy 可以轻松配置为执行诸如 单击链接、 选择列表/下拉选项、在字段中输入文本、 滚动页面、 打开弹出窗口等任务。

软件优势

1、需要 Windows
WebHarvy 需要 Windows 操作系统才能运行。如果您想在 Mac 上运行 WebHarvy，您应该通过 BootCamp 安装 Windows 或通过 Parallels 运行 WebHarvy。目前不支持 OS X / macOS。
2、基于 Chrome 构建
最新版本的 WebHarvy 是使用 Google 的开源 Chrome 浏览器项目构建的，这使得它更加安全、稳定和更快。
3、从云运行
WebHarvy 可以在 Amazon AWS EC2 Windows 实例中运行