网站优化中如何如何做好蜘蛛抓取

admin 发表于 2019-01-16 17:04 阅读人数:19

服务器不稳定的情况下会造成网站终端访问不了,无法链接。或者出现一直连接不上的情况,针对这种情况就只能换好的服务器了,千万不贪图小便宜,最终害了网站。

DNS异常当蜘蛛无法解析你网站的IP的时候,就会出现DNS异常或者DNS错误问题,可能是服务商把蜘蛛设置封禁了,或者网站IP的地址不正确造成的。可使用工具检查域名是否解析正确,如果不正确或者无法解析,那么联系域名商更新IP解决即可。禁止蜘蛛抓取这个就要看查看相关的代码设置,是否有禁止Baiduspider抓取设置,或者robots协议的设置问题等。UA封禁UA是用户代理(User-Agent),服务器通过UA识别访问者的身份,返回异常页面(如403,500)或跳转到其他页面的情况,即为UA封禁。当网站不希望Baiduspider访问的时候,需要设置对应的访问权限。

死链死链是网站中的无效页面,没有任何价值并且出现访问无效的情况。有协议死链和内容死链。对于死链问题,通过采用404页面制作或统计好404页面向百度站长平台提交数据即可。异常跳转异常跳转也就是当前的无效页面比如死链、已经删除的页面通过301直接跳转到首页或相关目录页面的情况。或者是跳转到出错、无效的页面上。这些情况都需要重视。主要还是301协议的问题,没有必要的建议不要设置即可。

其它情况JS代码问题,JS代码与搜索引擎并不友好,也不是重点识别的对象,如果JS代码蜘蛛识别不了,那么也会现问题异常。百度会根据网站的内容、规模、访问情况等自动设定一个合理的抓取压力。但是异常情况下,压力控制失常的话,会导致服务器负荷作出自我保护的突发性封禁情况。压力过大引起的偶然封禁:百度会根据站点的规模、访问量等信息,自动设定一个合理的抓取压力。但是在异常情况下,如压力控制失常时,服务器会根据自身负荷进行保护性的偶然封禁。这种情况下,请在返回码中返回503(其含义是“ServiceUnavailable”),这样搜索引擎蜘蛛会过段时间再来尝试抓取这个链接,如果网站已空闲,则会被成功抓取。

随机文章