壹砍价
RELATEED CONSULTING
相关咨询
选择下列客服马上在线沟通
服务时间:9:30-18:00
你可能遇到了下面的问题
关闭右侧工具栏

营销资讯

「壹起航网站优化」如何用Robots.txt做网站优化

  • 作者:SEO优化
  • 发表时间:2019-05-13 11:20
  • 来源:壹起航
很多新手网站优化专员每天迷茫写文章、做外链这些繁琐工作,却对Robots.txt不了解它的重要性,本文就给大家普及robots.txt文件编写知识。
 
Robots协议的全称是“网络爬虫排除标准”,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。搜索蜘蛛发现不存在robots.txt文件时,会产生一个404错误日志在服务器上,从而增加服务器的负担,因此为站点添加一个robots.txt文件还是网站优化很重要的。
 
查询Robots协议,在浏览器输入:http://域名/robots.txt/ 默认情况下会直接显示
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
这是由系统自动生成的,意思是告诉搜索引擎不要抓取后台程序文件。
 
 
下面说一下站点如何编写robots.txt文件,完整的站点robots.txt文件内容如下:
 
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。
 
 
下面分别解释一下各项的作用:
 
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
 
用于告诉搜索引擎不要抓取后台程序文件页面。
 
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
 
禁止搜索引擎抓取评论分页等相关链接。
 
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
 
禁止搜索引擎抓取收录分类和标签的分页。
 
4、Disallow: /*/trackback
 
禁止搜索引擎抓取收录trackback等垃圾信息
 
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
 
禁止搜索引擎抓取收录feed链接。
 
6、Disallow: /?s=*和Disallow: /*/?s=*\
 
禁止搜索引擎抓取站内搜索结果
 
7、Disallow: /*?*
 
禁止搜索抓取动态页面
 
8、Disallow: /attachment/
 
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
 
 
以上就是用Robots.txt实现网站优化的具体操作流程,希望能够帮助到你的网站优化。 
 
 

( 责任编辑:SEO优化-壹起航扫一扫关注我吧 )
本文由网络推广首选壹起航网络品牌(http://www.eqiseo.com/)原创编辑,如果您还想了解更多关于SEO优化的文章,请点击查看百度快速排名网络营销推广的其它文章,转发请注明来源及版权归属。
网站推广网站整合营销服务商,服务咨询电话:0755-33168344
详情访问官网:www.eqiseo.com 网络整合推广,高端网站制作,营销单页策划,关键词优化排名,顾问营销培训,微信平台开发,微信营销推广,新闻稿发布,口碑问答营销,价格优惠多多 ,多种套餐服务选择,有买有送。
官方推荐关键字:网络推广 - 深圳网络推广 - 网站推广 - 网络推广公司 - 深圳网站推广
【网络推广服务商】深圳市壹起航科技有限公司 0755-33168344 www.eqiseo.com

文章标签: 网站优化  Robots.txt  



分享到: