什么是解析及其工作原理

通常，必要的数据无法手动汇总，或者需要花费大量时间。这就是解析（网页抓取）发挥作用的时候——它是以结构化格式自动从网站收集信息的过程。它帮助任何以任何形式处理数据聚合的人：在线企业及其代表、营销人员、分析师和SEO优化人员。

今天我们将用简单的语言分解什么是解析，它是如何工作的，以及哪些服务允许您最快速、最有效地执行数据收集任务。

解析是如何工作的

从技术角度来看，解析是一种从网站的HTML页面提取数据的方法。为了更好地理解，让我们介绍几个基本术语。

HTML — 任何页面基础的标记语言。HTML标签向浏览器解释如何显示文本、在哪里插入链接以及图像位于何处。解析器下载HTML代码以从中提取必要的信息片段。

XML — 一种用于在程序之间存储和传输数据的语言。网站通常以XML格式导出其产品。从中解析必要的信息要容易和方便得多。

JSON — 一种流行的计算机和人类都能理解的数据交换格式。其中的信息以“键值”对的形式存储，例如，{ "name": "Sergey", "age": 40 }。如今，大多数网站在加载产品时使用JSON，解析器从中提取必要的数据。

CSS选择器 — 这些是指向网页特定元素的指针。例如，如果您想找到所有以绿色突出显示的标题，您将需要选择器 h2.green。

XPath — 一种查询语言，允许您像导航器一样浏览HTML或XML文档的结构。您可以给它分配任务，例如“找到位于右列的表格内的第三段，并从中获取链接。”对于非常复杂和深层的代码，它是不可或缺的。

正则表达式 — 一种按模式查找和提取文本的工具。例如，如果您需要解析格式为“+7 (999) 123-45-67”的所有电话号码，正则表达式将立即完成。

现在我们可以列出并解释解析的主要阶段：

1. 数据检索。 在第一阶段，解析器发送请求并下载源材料。来源可以是网页（HTML代码）、网站API（以纯格式返回信息，例如JSON）或现成的文件（XML或CSV导出）。
2. 数据预处理。 下载的数据阵列需要整理：从原始文本中删除干扰分析且对获取结果没有价值的不必要元素（HTML标签、CSS样式等）。
3. 结构分析。 程序研究接收到的文档的骨架并评估层次结构：每个标题位于何处，价格在哪个块中，等等。
4. 数据提取。 使用导航工具（XPath、CSS选择器等），解析器选择必要的数据：产品名称、联系方式、价格或链接。
5. 数据保存。 收集到的信息以方便的格式整齐地结构化：简单的表格（CSV、Excel）、数据库（SQL）或用于数据交换的灵活文件（JSON）。

解析工具 — 流行解决方案概述

了解了解析是什么之后，我们可以继续回顾在功能、定价和附加选项方面有所不同的工具。让我们根据处理内容的格式来看看最受欢迎的工具。

专业程序

如果您需要直接安装在计算机上的功能强大的工具，您应该寻找专业程序。它们提供广泛的解析配置选项，通常通过可视化界面（点击）工作，适用于定期从各种网站收集数据——从简单的在线商店到具有动态内容加载的复杂Web应用程序。

Octoparse — 一种流行的数据解析器，用于收集有关用户、产品和服务的信息，以及进行各种研究。使用它，您可以按元素类型解析网站，将结果导出到Excel、CSV和通过API，而无需知道如何编码。

Octoparse有一个免费版本，每月限制10个任务。更高级的计划起价为每月69美元，并且可以定制个人帐户——在这种情况下，费率由双方协商确定。

ParseHub — 一个用于自动从互联网收集信息的网页抓取程序。它被营销人员、研究人员、分析师和电子商务专家积极使用。数据导出支持Excel、API或JSON格式。

ParseHub的免费计划包括最多5个任务，其数据存储14天。标准版本的价格为189美元，包含120个任务以及保存文件和图像的专业计划每月费用为599美元。

WebHarvy — 专门的数据解析软件，支持多页抓取、关键字和JavaScript。其优势之一是智能模式识别，无需额外配置。

WebHarvy以其价格实惠而闻名：单个用户的软件基本版本每年费用为129美元。只需699美元，您就可以购买一个帐户中用户数量不受限制的年度许可证。

在线服务

对于那些不想让计算机超载或需要现成的基础设施进行大规模数据收集的人来说，基于云的在线服务是理想的选择。它们负责处理所有技术难题，从管理代理和绕过封锁到通过方便的API提供数据。此类平台允许您快速连接到信息收集，而无需复杂的安装和配置。

Import.io — 一个实时从互联网收集信息的网站。它允许您提取电话号码、IP地址、电子邮件和图像，并进行全面的数据分析。有100多个网络源可供同时工作。

Import.io没有免费或试用版本。有两个主要计划——完全托管（Fully Managed）和自助解决方案（Self-Service Solution），两者的价格由服务经理根据您的任务和需求单独计算。

Diffbot — 一个解析服务，用于从组织网站、新闻网站和产品目录中收集数据。它旨在处理大量信息，而客户只能访问英文网络版本。

Diffbot的免费版本提供了相当多的解析功能，并且无需绑定银行卡即可激活。付费计划起价为每月299美元。

Apify — 一个自2015年开始运营的数据收集服务。它作为一个简单且易于访问的Web环境运行，仅使用前端JavaScript。使用Apify，您可以从网站收集和构建任何信息，随后导出为CSV、Excel或JSON。

Apify有一个免费版本，但每个新的计算单元需要支付0.3美元。Starter计划费用为29美元，最昂贵的Business计划每月999美元。

ScraperAPI— 一个从互联网提取数据的系统，为个人用户和大型公司提供灵活的解决方案。该服务的一个独特优势是其检测和绕过机器人的功能，因此几乎所有的请求都能到达网站并返回结果。

ScraperAPI没有完全免费的版本，但您可以使用功能受限的7天试用版。对于个人使用或小型项目，每月49美元的最低Hobby计划非常完美；更昂贵的服务套餐价格从每月149美元到475美元不等，请求量和数据存储时间显著增加。

WebScraper — 一个旨在处理大数据的解析程序，包括数据库、产品目录和各种列表。它具有直观的界面，并且可以完美地处理具有多级导航的复杂网站。

在免费版本中，WebScraper作为浏览器扩展运行，具有最少的工作功能，仅包括将数据导出为CSV和XLSX。因此，最好从每月50美元的Project计划开始：它提供了几乎所有必要的解析资源，您还可以为其注册为期一周的免费试用。每月100美元和200美元起的Professional和Scale套餐分别增加了可用链接的数量、并行任务和数据存储时间。

细分工具

解析不仅可以是通用的，也可以用于特定的专业任务。一个单独的细分市场被为特定类型的数据或来源量身定制的高度专业化的工具所占据。它们不适合通用任务，但在特定领域工作时很有用。

Screaming Frog SEO Spider — 针对SEO专家的细分工具，允许进行网站审计并识别其中的不准确之处。因此，该软件可以检测损坏的页面、重复的标题、缺少描述的页面，以及通常任何具有某些重复片段的页面。在搜索栏中，您不仅可以输入整个网站，还可以输入许多选定的页面。

Screaming Frog SEO Spider的免费版本允许有限的数据解析，限制为500个URL链接。付费版本开启了无限的解析和抓取可能性，每年费用为279美元。

Netpeak Spider — 一个高级解析器，用于研究Web资源并查找其中的错误。该服务允许您识别代码错误、配置不正确的重定向、重复内容和其他问题。所有获得的信息都可以以Excel格式导出。

Netpeak Spider有14天的试用期。付费解决方案每月20美元起，最昂贵的计划是每月99美元。

Scrapingdog — 一个能够解决各种任务的解析程序，但最常用于从LinkedIn社交网络收集数据。该服务允许您根据选定标准收集公司和用户个人资料，并以JSON格式导出数据。

您可以免费使用Scrapingdog 30天。之后，您将需要订阅该服务：最低每月90美元，最高（Business计划）每月500美元。

结论

解析是许多在线领域的专家在网上赚钱过程中不可或缺的阶段。借助解析，您可以快速收集公开可用的数据。网络上有大量服务提供针对广泛主题或具有特定功能的解析服务——选择最能解决您任务的服务并开始工作。在未来的文章中，我们将更深入地探讨解析的主题，并更详细地讨论这项技术以及允许实现它的服务。