29 10月

百度蜘蛛抓取异常怎么处理?

当前位置: 蔡江seo > seo技巧 > 百度蜘蛛抓取异常怎么处理?
分类: seo技巧 作者:蔡江SEO 围观

  这两天,我收到百度的反馈,网站抓取异常,这让我很困扰。很明显,百度站长平台抓取诊断工具的检测可以成功。为什么抓取异常?我不明白。结果,编辑到互联网查看上午的信息,获得的信息概括为网站关键词优化中爬行异常的常见原因包括以下几点:
 
  1、服务器连接异常
 
  服务器连接异常有两种情况:一是网站不稳定,百度Pider在尝试连接时暂时无法连接到您网站的服务器;二是百度Pider一直无法连接到您网站的服务器。


服务器连接异常

 
  服务器连接异常的原因通常是您的网站服务器太大,负载过重。您的网站也可能运行不正常。请检查网站的web服务器(如apache、iis)是否正常安装和运行,并使用浏览器检查主页面是否可以正常访问。您的站点和主机也可以阻止Baiduspuder访问,并且您需要检查站点和主机的防火墙。
 
  2、网络运营商例外:网络运营商分为电信和联通两类。百度Pider无法通过电信或网通访问您的网站。如果发生这种情况,您需要与网络服务提供商联系,或者使用双线服务购买空间,或者购买CDN服务。
 
  3、DNS异常:当Baiduspider无法解析您网站的IP地址时,将出现DNS异常。这可能是站点IP地址中的错误,也可能是域名服务提供商阻塞Baidupider。请使用whois或host检查您网站的IP地址是否正确和可解析。如果没有,请联系域名注册商更新您的IP地址。
 
  4、IP阻塞:IP阻塞是:限制网络的退出IP地址,禁止用户访问IP段的内容,在这种情况下,特别是封锁百度IP。此设置仅在您的网站不希望百度Pider访问时才需要。如果您希望百度Pider访问您的网站,请检查百度Pider IP是否错误地添加到相关设置中。当您需要与服务提供商联系以更改设置时,也有可能您所在站点所在的空间服务提供商已经禁止了百度IP。
 
  5个。UA阻塞:UA是用户代理。服务器通过UA识别访客的身份。当站点为指定的UA访问时,返回异常页面(如403,500页)或跳转到其他页面的情况下,即UA被阻塞。此设置仅在您不希望baidu pider访问您的网站时才需要。如果你想百度皮德尔访问你的网站,是否有百度皮德尔在用户代理相关设置和修改它的时间。
 
  6.死链:页面无效,不能向用户提供任何有价值信息的页面是死链接,包括协议死链和内容死链两种形式:


死链

 
  协议死链:页面的TCP协议状态/HTTP协议状态清楚地表示出死链,如404、403、503状态等。
 
  内容死锁:服务器的返回状态是正常的,但内容已更改为不存在、删除或需要权限和其他独立于原始内容的信息页。对于死链,我们建议网站使用协议死链,通过百度站长平台死链工具提交给百度,这样百度可以更快地找到死链,减少死链对用户和搜索引擎的负面影响。
 
  综上所述,我们很可能理解百度蜘蛛爬行的原理,这是网站流量的保证,百度蜘蛛爬行是收集的保证,所以网站只能根据百度蜘蛛爬行规则获得更好的排名。

文章作者:蔡江SEO
文章标题:百度蜘蛛抓取异常怎么处理?
本文地址:http://www.cduseo.cn/jiqiao/1135.html + 复制链接

相关文章:

Comments

精彩评论


返回顶部