Baiduspider - 百度蜘蛛是什么

seo建站工具    seo名词解释    Baiduspider - 百度蜘蛛是什么

百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

Baiduspider - 百度蜘蛛:
  百度是如何收录到那么多网页的呢?这个百度用以抓取互联网上数以亿计的网页的程序,就叫做Baiduspider - 百度蜘蛛。
  它是一个程序,夜以继日得在互联网上找寻新的URL,接着抓取URL上的内容,返回到百度的网页暂存数据库。
  百度用来抓取网页内容的程序,叫做Baiduspider,抓取其他内容的蜘蛛,则是新的名字:
  产品名称???????????????? 对应user-agent
  网页搜索??????????????? Baiduspider
  无线搜索??????????????? Baiduspider-mobile
  图片搜索??????????????? Baiduspider-image
  视频搜索??????????????? Baiduspider-video
  新闻搜索??????????????? Baiduspider-news
  百度搜藏??????????????? Baiduspider-favo
  百度联盟??????????????? Baiduspider-cpro
  不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro,现在我们明白它是百度联盟蜘蛛,用以百度联盟程序匹配相应的广告。

2019年8月25日 20:56
浏览量:0
收藏