WordPress简单屏蔽营销蜘蛛的方法优化你小小服务器的负载【原创SEO网站优化】

做站不易，做一个无收益的站服务器压缩再压缩，此时就有很多无用的营销蜘蛛,广告爬虫在不断的消耗你的服务器资源，如果量大这就给你的小服务器带来了一下小小的压力，这里我们怎么去优化这些无用的IP减轻服务器的负载呢，我们就要屏蔽一下营销和广告蜘蛛了，

其实服务器有很多种屏蔽IP的方法，这里我就说几个简单的方法。

1.最常见的方法就是生成一个robots.txt，这个文本就放在你的主题根目录下。

robots是什么呢？

这个对于正规的蜘蛛来说我设置了不让你爬取我的网站，正规的蜘蛛就不会在爬取你的网站了，但是对于不正规的蜘蛛那么这个就是设置就是摆设，防君子不妨小人。

设置方法：

##禁止蜘蛛访问或者允许蜘蛛访问你网站根目录的文件
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
##这里是告诉蜘蛛你网站地图的地址
Sitemap: https://suguoer.com/sitemap.xml
Sitemap: https://suguoer.com/sitemap-post-2022.xml
Sitemap: https://suguoer.com/sitemap-forum_post-2022.xml
Sitemap: https://suguoer.com/sitemap-archives.xml
##这里就是屏蔽广告营销蜘蛛的方法
User-agent: NE Crawler
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: SemrushBott
Disallow: /
User-agent: crawler
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: AhrefsBot
Disallow: /

对于新手来说设置方法越简单越好，这里我给大家提供一些快捷设置的方式

• 爬虫蜘蛛查询：https://www.wbolt.com/tools-spider
• robots在线生成：https://tool.chinaz.com/robots/
• robots.txt测试工具：https://www.wbolt.com/tools-robots-txt

当然这些只是其中的一部分，网上有很多在线工具就不一一列出来了。

2.插件方法

插件有付费免费但是你想要用高级的功能只有付费选择

1.Smart SEO Tool是一款专门针对WordPress开发的智能SEO优化插件，与众多WordPress的SEO插件不一样的是，Smart SEO Tool更加简单易用，帮助站长快速完成WordPress博客/网站的SEO基础优化。提供TITLES&METAS优化、图片Title&Alt优化、链接优化、404监测、失效URL、robots.txt及Sitemap生成七大功能模块。

这个我们可以用免费的robots.txt及Sitemap生成这两个模块就可以了

2.Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。

这个主要是可以观察你的网站每天都被那些蜘蛛访问了，也可以看到蜘蛛的类型，统计蜘蛛访问量等，但是高级的拦截蜘蛛就要收费了

以上推荐的两个插件都是闪电博开发的插件还是很良心基本功能都是免费，如果你需要高级功能也可以选择付费方式了，土豪就忽略，建站小白就用用免费的功能足以。

3.服务器防火墙屏蔽

防火墙IP屏蔽这个方式可以通过IP段来屏蔽某个蜘蛛的访问，如果你的IP段够全那么也能阻挡营销蜘蛛访问。

可以通过Nginx防火墙的全局配置 User-Agent过滤一些蜘蛛，但是配置不好会对搜索引擎误拦，对你网站的SEO不好。慎用

也可以用IP黑名单来拦截，用上面的蜘蛛爬虫查询来获取爬虫的IP，将他加入黑名单实现拦截效果。

也可以用Apache/Nginx伪静态规则来拦截，总之办法总比困难多，方法有很多这里就不一一举例，

对于新手站长来说robots是最简单的方式，也是最友好的方式。网上教程也有很多插件也一大把。