适合自己的 ● 才是最好的 新闻动态,洞悉互联网前沿资讯,探寻网站营销规律
当前位置:网站首页 >> SEO优化
网站SEO优化中robots文件有什么作用
日期:2018-07-06 21:54:18 来源:合肥良马网络科技有限公司 官网:http://www.hflmwl.com/ 阅读:317次
网站SEO优化中robots.txt有什么作用。我们讲述的网站SEO优化当中的各种代码或者说程序优化、路径优化等方面都是有作用的,说白了都是为了SEO优化铺垫和准备。首先robots.txt是任何搜索引擎都认识且优先读取的文件。在网站程序根目录下建立robots.txt是十分有必要的,假如说你没有建立这个文件,那么默认任何搜索引擎抓取你网站根目录下的所有文件。

网站SEO优化中robots文件有什么作用
 

一、建立robots.txt的作用有哪些

搜索引擎在对你网站进行抓取的时候,他会分配资源去你的网站,那么这个时候,如果它派来的蜘蛛爬虫能够找到网站的有效内容,且不耽误时间,那么它下次就会经常光顾。所以robots.txt就是减少搜索引擎抓取网站内容的工作量,有些内容抓取了没有任何意义,还占用了搜索引擎资源。我们要集中资源抓取有用有效的内容。

二、常用的robots.txt写法有哪些

1、*:意思就是通配符,即所有搜索引擎。

User-agent: *
Disallow: /

禁止所有搜索引擎抓取网站的文件。

2、Disallow: /*?*

这个意思是禁止抓取网站动态页面

3、User-agent: *
Disallow: /hflmwl/
Allow: /hflmwlo/

这个意思就是说,hflmwl这个文件我不抓取,但是我要抓取hflmwl文件夹下面的seo子文件。记住通常情况下Allow是配合Disallow使用,单独不使用。

三、网站SEO优化当中常见robots文件

User-agent: * 
Disallow: /caches
Disallow: /phpcms
Disallow: /install
Disallow: /phpsso_server
Disallow: /api
Disallow: /admin.php
Sitemap: http://www.hflmwl.com/sitemaps.xml

注意事项:网站的当中地图可以在robots里面添加,可以让搜索引擎最快的速度抓取网站地图,进而对网站的目录进行检索和内容进行收录。另外就是网站的robots必不可少,千万不要不要写,对于搜索引擎不友好,对网站来说也不好。

特别需要注意的就是中间的冒号,是英文冒号,然后空格,记得写完之后,可以通过百度站长工具进行检测一下:http://zhanzhang.baidu.com/dashboard/index ,在“工具”—“网页抓取”—“Robots”进行检测一遍,看看自己写的是否正确。 

 

本文标题:网站SEO优化中robots文件有什么作用
本文网址:http://www.hflmwl.com/news/131.html
原创作者:合肥良马网络科技有限公司 版权所有,转载请注明出处,并以链接形式注明。