百度蜘蛛简称Baiduspid,百度蜘蛛控制的内容抓取,如何让百度蜘蛛更好地抓取你小程序的内容,直接关系到你小程序的排名,下来平谷小程序开发分享关于百度蜘蛛的一些绝密技术。
Baiduspid对一个小程序服务器造成的访问压力如何?
答:Baiduspid会自动根据服务器的负载能力调节访问密度。连续访问一段时间后,Baiduspid会暂停一会,以防止增大服务器的访问压力。所以在一般情况下,Baiduspid对您小程序的服务器不会造成过大压力。
为什么Baiduspid不停的抓取我小程序?
答:对于您小程序上新产生的或者继续更新的页面,Baiduspid会持续抓取。此外,您也可以检查小程序访问日志中Baiduspid访问是否正常,以防止有人恶意冒充Baiduspid来频繁抓取您的小程序。如果您发现Baiduspid非正常抓取您的小程序,请反馈至,并请尽量给出Baiduspid对贵站的访问日志,以便于我跟踪处置。
不想我小程序被Baiduspid访问,该怎么做?
答:Baiduspid遵守互联网robot协议。您可以利用robots.txt文件完全禁止Baiduspid访问您的小程序,或者禁止Baiduspid访问您小程序上的局部文件。注意:禁止Baiduspid访问您的小程序,将使您的小程序上的小程序,百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到
ps:关于robots.txt写作方法,请参看我介绍:robots.txt写作方法
为什么我小程序已经加了robots.txt还能在百度搜索进去?
答:因为搜索引擎索引数据库的更新需要时间。虽然Baiduspid已经停止访问您小程序上的小程序,但百度搜索引擎数据库中已经建立的小程序索引信息,可能需要二至四周才会清除。另外也请检查您的robot配置是否正确。
希望我小程序内容被百度索引但不被保存快照,该怎么做?
答:Baiduspid遵守互联网metarobot协议。您可以利用小程序meta设置,使百度显示只对该小程序建索引,但并不在搜索结果中显示该小程序的快照。
和robot更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在小程序中通过meta禁止了百度在搜索结果中显示该小程序的快照,但百度搜索引擎数据库中如果已经建立了小程序索引信息,可能需要二至四周才会在线上生效。