QUESTION
常见问题
专业网站设计,网站制作服务,服务赢得上万家企业的选择
做淘宝客研究时发现百度谷歌对新站收录的不同态度
发表2014-06-20     阅读:2137    |    

一个新域名,花了几天的时间创建了900多个二级域名,然后查看服务器日志,发现百度抓取规律,如下图:

  这些IP地址 全是百度的各路蜘蛛,可以到ip138去查,其中/ HTTP/1.1" 代表的是域名首页的意思,意思就是不含后缀链接的意思,比如二级域名,三级域名,从日志看发现百度最先抓取首页,然后再逐个的抓取其他二级域名,然后再列表页,这也是为什么百度没有开始收录内容页的原因,百度的原理先必须把网站的整体结构给索引号,然后最后才抓取内容页,“ 200”代表抓取成功,后面那串五位的数字是页面大小的意思,单位为KB。

  我们再来看谷歌蜘蛛的日志:

  

 

  看图可以发现谷歌在短时间内频繁访问sitemap,说明谷歌更注重站点地图,也就是sitemap.xml文件,另外谷歌是在遵守robots.txt文件下看到链接就抓取,并且可以很快得到搜索,但是一定要先搞好网站结构,哪些该抓取哪些不该抓取一定要在建立站之前就设置好,给谷歌蜘蛛好印象,否则你收录很多都不会有搜索。

  

  

  这是统计谷歌搜索引擎显示被用户搜索到本站的关键字,一个新站三四天时间就得到谷歌那么多的搜索,我想很多站长都不会有这样的经历。



返回
在线咨询
稍后联系