WordPress简单屏蔽营销蜘蛛的方法优化你小小服务器的负载【原创SEO网站优化】

WordPress简单屏蔽营销蜘蛛的方法优化你小小服务器的负载【原创SEO网站优化】

图片[1]-WordPress简单屏蔽营销蜘蛛的方法优化你小小服务器的负载

做站不易,做一个无收益的站服务器压缩再压缩,此时就有很多无用的营销蜘蛛,广告爬虫在不断的消耗你的服务器资源,如果量大这就给你的小服务器带来了一下小小的压力,这里我们怎么去优化这些无用的IP减轻服务器的负载呢,我们就要屏蔽一下营销和广告蜘蛛了,

其实服务器有很多种屏蔽IP的方法,这里我就说几个简单的方法。

1.最常见的方法就是生成一个robots.txt,这个文本就放在你的主题根目录下。

robots是什么呢?

robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

这个对于正规的蜘蛛来说我设置了不让你爬取我的网站,正规的蜘蛛就不会在爬取你的网站了,但是对于不正规的蜘蛛那么这个就是设置就是摆设,防君子不妨小人。

设置方法:

##禁止蜘蛛访问或者允许蜘蛛访问你网站根目录的文件
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
##这里是告诉蜘蛛你网站地图的地址
Sitemap: https://suguoer.com/sitemap.xml
Sitemap: https://suguoer.com/sitemap-post-2022.xml
Sitemap: https://suguoer.com/sitemap-forum_post-2022.xml
Sitemap: https://suguoer.com/sitemap-archives.xml
##这里就是屏蔽广告营销蜘蛛的方法
User-agent: NE Crawler
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: SemrushBott
Disallow: /
User-agent: crawler
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: AhrefsBot
Disallow: /

对于新手来说设置方法越简单越好,这里我给大家提供一些快捷设置的方式

当然这些只是其中的一部分,网上有很多在线工具就不一一列出来了。

2.插件方法

插件有付费免费但是你想要用高级的功能只有付费选择

1.Smart SEO Tool是一款专门针对WordPress开发的智能SEO优化插件,与众多WordPress的SEO插件不一样的是,Smart SEO Tool更加简单易用,帮助站长快速完成WordPress博客/网站的SEO基础优化。提供TITLES&METAS优化、图片Title&Alt优化、链接优化、404监测、失效URL、robots.txt及Sitemap生成七大功能模块。

这个我们可以用免费的robots.txt及Sitemap生成这两个模块就可以了

2.Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志,并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。

这个主要是可以观察你的网站每天都被那些蜘蛛访问了,也可以看到蜘蛛的类型,统计蜘蛛访问量等,但是高级的拦截蜘蛛就要收费了

以上推荐的两个插件都是闪电博开发的插件还是很良心基本功能都是免费,如果你需要高级功能也可以选择付费方式了,土豪就忽略,建站小白就用用免费的功能足以。

3.服务器防火墙屏蔽

防火墙IP屏蔽这个方式可以通过IP段来屏蔽某个蜘蛛的访问,如果你的IP段够全那么也能阻挡营销蜘蛛访问。

图片[2]-WordPress简单屏蔽营销蜘蛛的方法优化你小小服务器的负载

可以通过Nginx防火墙的全局配置 User-Agent过滤一些蜘蛛,但是配置不好会对搜索引擎误拦,对你网站的SEO不好。慎用

也可以用IP黑名单来拦截,用上面的蜘蛛爬虫查询来获取爬虫的IP,将他加入黑名单实现拦截效果。

也可以用Apache/Nginx伪静态规则来拦截,总之办法总比困难多,方法有很多这里就不一一举例,

对于新手站长来说robots是最简单的方式,也是最友好的方式。网上教程也有很多插件也一大把。

© 版权声明
THE END
喜欢就支持一下吧
点赞13赞赏 分享
评论 抢沙发

请登录后发表评论