最新公告
  • 欢迎您光临苏果儿博客资源站,本站QQ/微博注册登陆即送SVIP果帝会员 立即加入我们
  • 超级蜘蛛池之robots的优化

    一、robots概述

    ①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;

    ②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:www.cjzzc.com/robots.txt;

    超级蜘蛛池之robots的优化

    ③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;

    12.jpg

    二、robots的写法

    # robots.txt file from http://www.cjzzc.com/

    # All robots will spider the domain

    User-agent:*

    Disallow:

    1、允许搜索引擎访问所有部分(一般可不写)

    User-agent:*

    Disallow:

    2、禁止搜索引擎访问任何部分

    User-agent:*

    Disallow:/

    3、禁止搜索引擎访问某几个部分

    User-agent:*

    Disallow:http://www.cjzzc.com/404.html

    4、允许某个搜索引擎访问

    User-agent:Baiduspiter

    Disallow:/

    5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件

    User-agent:*

    Disallow:/sss/

    Disallow:/aaa/

    8、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何内容:

    User-agent:Baiduspiter

    Disallow:/

    User-agent:*

    Disallow:/

    9、$:通配符,匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件

    User-agent:Baiduspiter

    Disallow:.jpg$

    10、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

    User-agent:*

    Disallow:/admin/

    Allow:/images/

    11、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

    User-agent:*

    Disallow:/admin/*.php$

    Allow:/admin/*.asp$

    12、禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

    User-agent:*

    Disallow:/*?*

    1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长![email protected]
    2. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!
    3. 如果你也有好源码或者教程,可以到审核区发布,分享有金币奖励和额外收入!
    4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
    5. 如有链接无法下载、失效或广告,请联系管理员处理!
    6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
    7. 本站不保证所提供下载的资源的准确性、安全性和完整性,源码仅供下载学习之用!
    8. 如用于商业或者违法用途,与本站无关,一切后果请用户自负!

    苏果儿博客 » 超级蜘蛛池之robots的优化

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    苏果儿资源博客
    一个高级程序员模板开发平台

    发表评论

    升级SVIP果帝尊享更多特权立即升级