您当前的位置: 首页 > 娱乐

一站的404页面

2018-10-29 12:46:19

Robots文件是搜索引擎访问站时个要读取的文件,它告诉搜索程序服务器上那些内容可以抓取,那些不用抓取。

目前站的robots文件里面的抓取规则已经日趋完善,比如禁止了页中图片的抓取,禁止蜘蛛抓取一些会员隐私(个人简历)页面、一些无用页面(之前的推广页面)、样式表文件等,但是仍然有部分页面并不需要蜘蛛程序的抓取,这部分页面只是面向用户的,搜索引擎抓取了并没有什么意义,瓜分了页面的权重。

一、站的404页面

每个站都存在一些错误页面,404页面的存在就是为了当用户访问了错误页面的时候能够将用户引导到正确的页面上,防止站流量的流失。而一个页面较多的站肯定存在很多的错误页面,这就导致存在很多相似的404页面,如下图所示:

所以,一旦404页面太多,而还让搜索引擎去收录,就会导致站把权重分给这些404页面,所以应该屏蔽404页面。

添加规则:Disallow:/ml

二、站部分导航页面

站底部的一些导航页面,如市场合作站声明付费方式等都是针对客户的页面,几乎没有用户通过搜索引擎上搜索这些页面并到达站,而且这些导航页面是全站显示的,所有的内容页面都存在,同样的也要分散这些页面的权重。

这部分页面都是位于同一目录/main下,该目录下除保留部分页面需蜘蛛进行抓取外,其他页面可以都禁止,保留页面为:关于我们(main/p),友情链接(main/p)。此外资费标准付费方式页面位于企业会员中心页面,这些页面也没有必要对搜索引擎开放。

添加规则:

Allow:/main/aboutus*

Allow:/main/friendlink*

Allow:/main/recruitmeeting*

Allow:/main/investigation*

Disallow:/main/

Disallow:/company/companyapplymember*

将现有规则中一条删除:disallow: /main/refuse*

将新添加的两条Allow规则放到disallow命令的前面。

通过一些对搜索引擎抓取意义不大的页面,将首页和一些内容页面的权重更加集中。

版权所有:伍亿人才招聘,转载请注明出处。

注:相关站建设技巧阅读请移步到建站教程频道。

捕鱼摇钱树
环保厕所
丽景湾PLUS
推荐阅读
图文聚焦