打通蜘蛛抓取通道提升收录(十六)

seo建站工具    seo常见问题    打通蜘蛛抓取通道提升收录(十六)

如何提升页面收录

如何提高蜘蛛抓取几率

新站如何增加收录

 

一、第一步:蜘蛛能抓到

1、路径符合URL规则

2、链接是畅通的

3、带宽稳定

4、速度比较快

推荐使用SEO快站,便捷、稳定、安全

二、第二步:能够被收录

1、符合质量要求,才能提高收录

2、抓取进入索引库,进行索引展现

3、筛选过滤,放出最适合用户的页面

三、第三步:有排名

排名展现,尽可能做到每个页面都被收录

 

 

四、前期准备

1、页面内容、链接抓取、收录索引

2、提升页面收录

URL唯一性,不要动态、静态、伪静态的一样的

链接地址规范

不要限制蜘蛛抓取:#号;特殊符号;过长、中文

 

五、蜘蛛抓取

在网站日志中选择性的查找蜘蛛,找到有工具抓取的就屏蔽掉(或者在robots中加上)

网站后台——安全——屏蔽IP

1、优先抓取站内最有价值的地址:

核心文章页面、新闻目录、产品页、帮助页面、FAQ

留言页面、在线客服、百度动态地图、提交表单

2、减少无用链接抓取:

屏蔽掉垃圾页面、无效页面

3、提升链接抓取效率

4、判断真假蜘蛛

减少带宽占用,防止影响正常用户访问

5、常见的搜索蜘蛛

谷歌蜘蛛:Googlebot

百度蜘蛛:BaiduSpider

360蜘蛛:360Spider

必应蜘蛛:Bingbot

搜索蜘蛛:Sogou News Spider

MSN蜘蛛:MSNBot

6、判断真假蜘蛛(网站日志里面看)

使用nslookup ip命令反解ip

nslookup 123.125.71.106

7、robots.txt

一些简单的用法、写法

User-agent:*

User-agent:bingbot

Disallow:/liuyan

 

六、提升抓取频率

1、让蜘蛛来的更频繁些

2、提交收录几率

3、链接推送功能

 

七、百度站长平台

1、链接提交(站点属性中可以加上新站数据)

2、数据监控中的抓取诊断

2019年7月3日 10:21
浏览量:0
收藏