当前位置:首页 > 网络推广 > 正文内容

利用“GOOGLE抓取方式”工具测试Robots书写正确性

光的传人12年前 (2013-05-02)网络推广2619

有一个客户的网站,一些很重要的页面被屏蔽了,搜索显示“由于此网站的 robots.txt,系统未提供关于该结果的说明 - 了解详情。”但是仔细看他的robots.txt,找不出确定的原因,犯了很多资料,也没有发现比较权威的说法。

于是自己就认真的看他的robots.txt(我勒个去,有好几百条呢!),根据所看的那些资料,写法不规范也可能是错误的我都挑了出来,代码如下:

Disallow:/search.asp?page=4&wherestr=&title=
Disallow:/%20http://cnvip.busytrade.com/indexVip.php?memid=maxiaol&show=1
Disallow:/ls-discovery/centrifugation/h..
Disallow:/diagnostics/chemistry/dxc/dxc..
Disallow:/diagnostics/chemistry/au/test..
Disallow:/diagnostics/hematology/lh-750..
Disallow:/products_
Disallow:/about2.asp[/quote
Disallow:/uppic/cp/lc/55b
Disallow:/ls-industrial/pc/coulter-coun..
Disallow:/ls-industrial/pc/laser-diffra..
Disallow:/ls-discovery/centrifugation/high-performance/avanti-j-e.html/
Disallow:/ls-discovery/flow/z-analyzer/z1-dual.html/
Disallow:/new/search.asp?page=4&wherestr=&title=
Disallow:/search.asp?page=2&wherestr=&title=
Disallow:/]Disallow:/
Disallow:/ls-discovery.asp/centrifugation.asp
Disallow:/ls-discovery/flow/quanta-sc.asp/
Disallow:/news/20121127206.html/
Disallow:/resources_1_eIQAP.asp/
Disallow:/news/2011117188.html/
Disallow:/news/200922821.html/
Disallow:/news/200791118.html/
Disallow:/news/200511145.html/
Disallow:/zyzxdisp
Disallow:/ls-disc
Disallow:/news/20
Disallow:/cp_disp

其中ls-discovery这个目录下的页面全部没有收录了,于是赶紧找权威的解释。终于找到一篇别人在2010年写的文章“利用“GOOGLE抓取”测试Robots书写正确性”,当时这个工具还是在实验室里面的,现在已经提拔出来了!https://www.google.com/webmasters/tools/googlebot-fetch?hl=zh-CN

经过一系列的测试,发现这个ls-discovery目录确实被robots.txt整个屏蔽了!但是根据rotbots.txt里面的指令,找不到准确屏蔽这个目录的命令。但是仔细观察这些不规范的,可以看到有这么一条:Disallow:/ls-discovery.asp/centrifugation.asp,我就在猜想:是不是这个"."就是罪魁祸首!?就像IIS又都解析漏洞一样,robots.txt也有这么一个执行漏洞,遇到"."就截止,直取“.”前面的内容,于是就成了“Disallow:/ls-discovery”,根据权威的解释,就是屏蔽了ls-discovery目录以及带这个关键词的所有页面。

Disallow:

该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。 例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html, 不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一 条Disallow记录。如果"/robots.txt"不存在或者为空文件, 则对于所有的搜索引擎robot,该网站都是开放的。”

除了这个解释,没有更好的解释了吧?

如果有高手知道真正的原因,请告知!感激不尽!


扫描二维码推送至手机访问。

版权声明:本文由光的传人博客www.liu16.com发布,如需转载请注明出处。

本文链接:http://www.liu16.com/post/testrobots.html

标签: SEO谷歌
分享给朋友:

相关文章

关于soso搜索引擎的一点发现

关于soso搜索引擎的一点发现

自己捣鼓的论坛已经运行了近5个月了,注册会员已经达到四千多,发帖量也已经达到两万多了。但是发现一个小小的问题,soso搜索引擎貌似对国外的空间不收录!从开始建站到现在一直都没有收录过,虽然搜搜的反链也不少,但是搜搜就是一页也没有收录!由此,...

浅析团购网潮起潮落的根本原因

浅析团购网潮起潮落的根本原因

团购,顾名思义就是很多人一起组团去购买同一种商品,这样做的好处是:很多人团结起来,购买力惊人,购买产品数量特别大,可以让商家薄利多销,让消费者得到最大的实惠!于是,借着高科技的互联网行业,大大小小的团购网在2010年如雨后春笋般的出现了!可...

2016双11淘宝所有商品都打折么?

2016双11淘宝所有商品都打折么?

看到有朋友问这样一个问题:双11淘宝所有商品都打折么?这个问题我可以肯定的给你这样一个回答:不是的,并不是所有商品都会打折!且来看光的传人给出的关于“双11淘宝所有商品都打折么”问题的分析!双11淘宝大部分商品会打折。双十一天猫购物节,首先...

郑多燕木瓜葛根粉丰胸有效果吗?官网都是假的,能不是骗局吗?

郑多燕木瓜葛根粉丰胸有效果吗?官网都是假的,能不是骗局吗?

上文中说到:郑多燕丰胸骗局揭秘,本文就来具体分析下郑多燕木瓜葛根粉丰胸到底有没有效果!可以负责任的告诉你:郑多燕木瓜葛根粉连官网都是假的,这样的三无产品能有效果?有效果的话就不会借助郑多燕的名气做推广了!郑多燕木瓜葛根粉就是暴利产品,就是为...

很有创意的论坛签名——真的给力么?

很有创意的论坛签名——真的给力么?

做SEO的朋友们,你们有没有过这些烦恼?当好不容易通过度娘或者谷哥发现一个权重很高的论坛,点击注册,等资料差不多填满时才发现需要邀请码?就算不需要邀请码,辛辛苦苦填满注册资料,注册成功,还没来得及欢呼雀跃,却发现没有权限设置个人签名!?就算...

百度推广实名认证服务到期前提醒,实名认证按年收费?

百度推广实名认证服务到期前提醒,实名认证按年收费?

刚收到百度邮件:实名认证服务到期前提醒,实名认证服务变成1年有效期?并且还收高额费用?这合理么?貌似签订合同的时候并没有这项说明吧!邮件详情如下:尊敬的百度推广客户,您好!您的百度推广账户****的实名认证产品有如下最新通知,请及时处理,谢...

评论列表

电子菜谱
12年前 (2013-05-03)

看下,还是不错的

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。