冷却塔厂家
免费服务热线

Free service

hotline

010-00000000
冷却塔厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

不要妄想用robotstxt文件来来阻止百度的收录

发布时间:2020-03-09 17:39:47 阅读: 来源:冷却塔厂家

这是我用我的真实经历告诉大家,有图有真像。在这之前我和在坐的各位一样,以为写个t就万事大吉了,就可以安心的调试网站了。但往往要等百度收录了才后悔,原来当初自己错了,t写禁止收录的规则对百度没用。

ps直接上图先,大家仔细看图,重点看域名,如果不是看域名的话,估计你会把这快照看成是新浪首页的快照呢!看到这里可能有的站长要疑惑了,有的站长要笑。大家一定很想知道这种情况是如何造成的吧?

其实是这样的,那天我也就是想去测试下自己买的集群主机的速度怎么样,于是下载了个新浪首页上放到空间上绑定后进行了测试。结果测完后就甩了个t文件上去,本就以为这样就可以万事大吉了,谁知道度娘她不吃这一套,对我的站那是照收不误。结果就这样悲剧了,我现在还不知道,如果我新站上线后那直接就是另一个站了,我现在还整天担心如果要是直接上新站的话,度娘会把我K了,或者降权呢!

现在没办法,咨询了下我萧涵老师后,他老人家告诉我,首页标题里加了个;现在还好百度停止更新快照了。

后来又找了些资料,分析了下原来是新站上外链惹的祸,因为之前没注意看百度官方对这文件给的介绍。在百度搜索帮助中心-禁止搜索引擎收录的方法中第三条中这样写到:“我在t中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?”答:如果其他网站链接了您t文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。

所以咱们站长一定要注意了,如果大家在新站调试期间想要让网站不被显示在百度快照上的话,在网站建设期间请不要把域名地址放在百度蜘蛛可能会爬行的地方,例如大部份站长最喜欢设置的论坛个性签名里,这样有时候会不知不觉中就把外链又发出去了。

本文作者:杨雪松,欢迎转载,转载可以不留名,但务必请保留下链接:

金灵徽章厂

乙炔炭黑

海南玻璃钢