代发网络信息-B2B代发帖-宁梦网络

恬静小揭示：方才看了一下工夫，曾经转钟到了次日了，写这篇文章的时分是在2月4号，然而现在发布的工夫曾经转点到2月5号了，所以文章提到的“本日”也便是2月4号，希翼大家不要看懵懂了。

网站终究被收录了，但让我高兴的照样我经过本人的尽力找到问题并处理了问题，这才是我本日大的收获。固然了如果这个问题我发现不了，可能网站再过十天半个月也会毫无起色，所以我要揭示大家的便是对付robots协议在封禁蜘蛛之后到后期在解封的时分肯定要记得及时更新robots协议，这是一个不容被轻忽的小细节。或许按照本人的一向常识感觉只要经过输入“http:域名obots.txt看一下网站的协议纠正来了没有就可以了，然而经过实际证明这种方式也不是完全靠得住的，所以肯定要记住我此次的经验经验，robots一旦进行调解就肯定要记得及时提交更新，否则被蜘蛛抓取了不应抓的大概不断把蜘蛛拒之门外耽搁了本人的工夫那就真的是悔恨莫及了。

至此网站曾经排除了robots协议对百度的周全封禁，检测工夫显现的是本日下战书两点整。到了夜晚也差未几便是在三个多小时之前，当我再次审查网站收录状况的时分，网站首页曾经被收录了。如下图：

事变其实就产生在本日，经过是如许的：由于SEO博客也刚做好不久，头几天网站上线之后发现另有很多小问题须要处理，为了制止网站还在调解的历程傍边就被搜索引擎抓取到，所以我在robots协议内中写了阻止所有搜索引擎爬取网站任何局部的指令，网站的调解不断持续了几天（之所以会弄这么长工夫是由于我是一个不行容忍瑕疵的人，不晓得这算不算自愿症的一种），直到本日也便是2月3号才周全完事，然而这时分代我天天都在保持增添文章。本日网站审查停止，所有问题都处理好之后，我就把robots协议重新更换了过去，并且发了一篇帖子引了蜘蛛希翼爬虫能快点过去爬我的网站。就如许，到了本日早上发现网站照样没有被收录，因而我就去百度站长工具平台看一下我的网站到底是个甚么状况，进去一看吓我一跳，由于我看到了下面一则（如图所示）信息：

能够看到，当前本站新的robots曾经入手下手见效了，就如许到了下战书，当我再次进入百度站长平台就收到了新消息，如下图所示：

本来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议，所以当宿世效的协议也便是那时它抓取到的我把蜘蛛所有樊篱时的那个，而本站新的robot协议尚未见效。这下我总算是明白了过去了，既然弄清晰了因由那事变就好办了。因而我立即把协议提交更新了一下，如下图：

我的网站居然对百度进行了周全封禁，检测工夫是在本日（2月4号）早上破晓5点整的时分，这让我像丈二的和尚摸不着思惟了，太不迷信了，由于我在本日2月3号上午曾经把网站的robots协议变化正来了，真的是太奇怪了。就在我百思不得其解的时分总算是经过站长平台工具的“robots检测”找到了答案，看下图：

在我看来robots协议便是站长利用网站支配权的施行文件，这是咱们作为站长底子根基的权益。它是搜索引擎蜘蛛爬取网站之前要面临的道关口，所以robots协议的主要性也是不可思议了。都说细节决定成败，那末越主要的工具细节就显得尤为主要，每每本人一不审慎纰漏的一个细节到背面就可能会成为你的致命一击。本人之所以会这么说，是由于我差点就成为了这个问题的反面课本了，还好发现的及时也算是亡羊补牢吧！之所以想立即分享给大家，便是希翼大家之后本人做站的时分要制止犯相通的错误。

更新之后一分钟内协议就更新过去了，如下图：