【介绍】

网站信息收集和处理中普遍采用的爬虫工具是由各种语言开发的自动程序，而这款Screaming Frog SEO Spider专为各大站点的站长朋友们打造，可设置固定的时间点以及前后间隔时间点来采集对应站点的SEO信息，从而熟悉最新的搜索引擎收录规则，支持多种拓展组件的导入以及管理，监控网络情况来获取SEO排名和占比权重。

Screaming Frog SEO Spider特色

1、查找断开的链接，错误和重定向

2、分析页面标题和元数据

3、查看Meta机器人和指令

4、审计hreflang属性

5、发现重复页面

6、生成XML站点地图

7、网站可视化

8、抓取限制（无限)

9、调度

10、抓取配置

11、保存抓取并重新上传

12、自定义源代码搜索

13、自定义提取

14、Google Analytics集成

15、搜索控制台集成

16、链接度量标准集成

17、渲染（JavaScript）

18、自定义robots.txt

19、AMP爬行和验证

20、结构化数据和验证

21、存储和查看原始和呈现的HTML

Screaming Frog SEO Spider功能

1、找到断开的链接

立即抓取网站并找到损坏的链接（404s）和服务器错误。批量导出要修复的错误和源URL，或发送给开发人员。

2、分析页面标题和元数据

在抓取过程中分析页面标题和元描述，并识别网站中过长，短缺，缺失或重复的内容。

3、使用XPath提取数据

使用CSS Path，XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标记，其他标题，价格，SKU或更多！

4、生成XML站点地图

快速创建XML站点地图和图像XML站点地图，通过URL进行高级配置，包括上次修改，优先级和更改频率。

5、抓取JavaScript网站

使用集成的Chromium WRS渲染网页，以抓取动态的，富含JavaScript的网站和框架，例如Angular，React和Vue、js、

6、审核重定向

查找临时和永久重定向，识别重定向链和循环，或上传URL列表以在站点迁移中进行审核。

7、发现重复内容

使用md5算法检查发现完全重复的URL，部分重复的元素（如页面标题，描述或标题）以及查找低内容页面。

8、审查机器人和指令

查看被robots、txt，元机器人或X-Robots-Tag指令阻止的网址，例如'noindex'或'nofollow'，以及规范和rel =next和rel =prev。

9、与Google Analytics集成

连接到Google AnalyticsAPI并针对抓取功能获取用户数据，例如会话或跳出率和转化次数，目标，交易和抓取页面的收入。

10、可视化站点架构

使用交互式爬网和目录强制导向图和树形图站点可视化评估内部链接和URL结构。

使用方法

一、爬行抓取

1、常规抓取

在常规抓取模式下，Screaming Frog SEO Spider 13版会抓取您输入的子域名，并将默认情况下所遇到的所有其他子域名视为外部链接（显示在外部标签下）。在该软件的许可版本中，您可以调整配置以选择抓取网站的所有子域。搜索引擎优化蜘蛛最常见的用途之一是在网站上发现错误，如断开的链接，重定向和服务器错误。为了更好地控制抓取，请使用您的网站的URI结构、SEO spider配置选项，例如只抓取HTML（图像、CSS、JS等）、排除功能、自定义robots.txt、包含功能或者更改搜索引擎优化蜘蛛的模式，并上传一个URI列表抓取

2、抓取一个子文件夹

SEO Spider工具默认从子文件夹路径向前抓取，因此如果您希望抓取站点上的特定子文件夹，只需输入具有文件路径的URI即可。通过直接输入到SEO Spider中，它将抓取/blog/sub目录中包含的所有URI

3、抓取网址列表

通过输入网址并点击开始来抓取网站，您可以切换到列表模式，粘贴或上传要抓取的特定网址列表。例如，在审计重定向时，这对于站点迁移尤其有用

二、组态

在该工具的许可版本中，您可以保存默认的爬网配置，并保存可在需要时加载的配置配置文件

1、要将当前配置保存为默认值，请选择文件>配置>将当前配置保存为默认值

2、要保存配置文件以便将来可以加载，请单击文件>另存为并调整文件名（最好是描述性的）

3、要加载配置文件，请单击文件>加载，然后选择您的配置文件或文件>加载最近以从最近的列表中进行选择

4、要重置为原始默认配置，请选择文件>配置>清除默认配置

三、出口

顶部窗口部分的导出功能在顶部窗口中与您当前的视野一起工作。因此，如果您使用过滤器并单击导出，则只会导出过滤选项中包含的数据

有三种主要的数据导出方法：

1、导出顶层窗口数据：只需点击左上角的导出按钮，即可从顶层窗口选项卡导出数据

2、导出较低的窗口数据（URL信息、链接、输出链接、图像信息）：要导出这些数据，只需在顶部窗口中右键单击要导出数据的URL，然后单击导出下的URL信息、链接、出链接或图片信息

3、批量导出：位于顶层菜单下，允许批量导出数据。您可以通过all in links选项导出抓取中找到的链接的所有实例，也可以将所有链接全部导出到具有特定状态代码（如2XX，3XX，4XX或5XX响应）的URL。例如，选择链接中的客户端错误4XX选项将导出全部链接到所有错误页面（例如404错误页面）。您还可以导出所有图像替代文字，所有图像缺少替代文字和所有锚点文字

看了这么多，你下载了Screaming Frog SEO Spider(网络爬虫开发工具)吗？想要下载最新软件就来软件爱好者好玩的游戏、简单易懂的软件教程、令人耳目一新的游戏玩法这里统统都有，更多精彩不容错过！