公司业绩不好?找壹起航! 一站式有效果的互联网整合营销服务商!
壹砍价
RELATEED CONSULTING
相关咨询
选择下列客服马上在线沟通
服务时间:9:30-18:00
你可能遇到了下面的问题
关闭右侧工具栏

营销资讯

如何用Robots.txt做网站优化

  • 作者:SEO优化
  • 发表时间:2019-07-21 22:59
  • 来源:壹起航
很多新手网站优化专员每天迷茫写文章、做外链这些繁琐工作,却对Robots.txt不了解它的重要性,本文就给大家普及robots.txt文件编写知识。
 
Robots协议的全称是“网络爬虫排除标准”,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。搜索蜘蛛发现不存在robots.txt文件时,会产生一个404错误日志在服务器上,从而增加服务器的负担,因此为站点添加一个robots.txt文件还是网站优化很重要的。
 
查询Robots协议,在浏览器输入:http://域名/robots.txt/ 默认情况下会直接显示
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
这是由系统自动生成的,意思是告诉搜索引擎不要抓取后台程序文件。
 
 
下面说一下站点如何编写robots.txt文件,完整的站点robots.txt文件内容如下:
 
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。
 
 
下面分别解释一下各项的作用:
 
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
 
用于告诉搜索引擎不要抓取后台程序文件页面。
 
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
 
禁止搜索引擎抓取评论分页等相关链接。
 
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
 
禁止搜索引擎抓取收录分类和标签的分页。
 
4、Disallow: /*/trackback
 
禁止搜索引擎抓取收录trackback等垃圾信息
 
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
 
禁止搜索引擎抓取收录feed链接。
 
6、Disallow: /?s=*和Disallow: /*/?s=*\
 
禁止搜索引擎抓取站内搜索结果
 
7、Disallow: /*?*
 
禁止搜索抓取动态页面
 
8、Disallow: /attachment/
 
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
 
 
以上就是用Robots.txt实现网站优化的具体操作流程,希望能够帮助到你的网站优化。 
 
 

( 责任编辑:壹起航SEO网站优化-壹起航推广公司,原创不易,转载是必须以链接形式注明作者和原始出处及本声明。)
声明:本页内容由深圳市壹起航科技有限公司通过网络收集编辑所得,所有资料仅供用户参考;本站不拥有所有权,也不承认相关法律责任。如您认为本网页中有涉嫌抄写的内容,请及时与我们联系进行举报,并提供相关证据,工作人员会在5个工作日内联系您,一经查实,本站将立刻涉嫌侵权内容。如果您对网站优化推广核心技术文章感兴趣,请点击查看SEO优化网络推广的相关文章,请关注壹起航网络营销公司网站(www.eqiseo.com) 网站推广,整合网络营销服务商;
详情访问壹起航网站:网站建设,SEO优化,网站优化,整合网络推广,营销单页策划,关键词排名,顾问营销培训,微信平台开发,百度小程序开发,微信营销推广,新闻稿发布,口碑问答营销,价格优惠多多 ,多种套餐服务选择,有买有送。
官方推荐关键字:推广 - 网络推广 - 网站推广 - 网络推广公司 - 深圳网站推广
【网络推广服务商】深圳市壹起航科技有限公司 0755-33168344 www.eqiseo.com

文章标签: 网站优化  Robots.txt  



分享到: