SEO优化_robots设置详细解读
来源 https://www.pos56.cn/SEOyouhua/133.html
作者 佚名
日期 2021-07-30
浏览 1270
robots内容详细解读
robots.txt是纯文本文件,用于声明网站中不想被蜘蛛抓取的部分,robots不是一个规定,是一种约束
蜘蛛访问网站的时候首先查看的是robots:如果存在就按照robots规则抓取、如果不存在蜘蛛就沿着链接直接爬行
1.robots作用
1.1、防止私密或重要的内容被搜索引擎抓取
1.2、节省服务器资源
1.3、减少重复抓取,提高网站质量
1.4、制定sitemap文件位置
2.写法
该文件放置在文件的根目录下,并且文件名必须小写:http://www.dbgzs.shop/robots.txt
3.语法
3.1、User-agent:
3.1.1、指定哪个搜索引擎蜘蛛:Baiduspider(百度)、Googlebot(谷歌)、Sogouspider(搜狗)
3.1.2、*代码所有搜索引擎
3.2、Allow:表示允许蜘蛛抓取的栏目或文件
3.2.1、Allow:/web/ 表示允许访问web目录
3.2.2、Allow:/*.htm$ 表示允许访问html文件
3.3、Disallow:禁止抓取栏目或文件
Disallow:/web/:禁止抓取web目录
Disallow:/*.htm$:禁止抓取html文件
Disallow:/ 禁止抓取网站所有内容:
/表示根目录
4.工具:http://tool.chinaz.com/robots/
5.问题
5.1、如果搜索引擎已经收录了你的网页,这时候你不想让搜索引擎收录网页 咋办?
5.2、robots是不能删除搜索引擎中已经收录的页面
5.3、robots meta标签来解决该问题
6.robots meta标签:针对具体的页面
6.1、语法
6.1.1、():允许搜索引擎抓取页面与页面的链接
:不允许搜索引擎抓取页面与允许页面的链接
:允许搜索引擎抓取页面与不允许页面的链接
():不允许搜索引擎抓取页面与不允许页面的链接
7.解释
index:表示搜索引擎可以抓取该页面
noindex:表示搜索引擎不可以抓取该页面
follow:表示搜索引擎蜘蛛可以爬寻该页面的上的链接
nofollow:表示搜索引擎蜘蛛不可以爬寻该页面的上的链接
提醒:有些时候也友情链接交换可能会被加上nofollow,大家可以查看一下(避免灰帽)
资讯来源:https://www.pos56.cn/SEOyouhua/133.html
robots.txt是纯文本文件,用于声明网站中不想被蜘蛛抓取的部分,robots不是一个规定,是一种约束
蜘蛛访问网站的时候首先查看的是robots:如果存在就按照robots规则抓取、如果不存在蜘蛛就沿着链接直接爬行
1.robots作用
1.1、防止私密或重要的内容被搜索引擎抓取
1.2、节省服务器资源
1.3、减少重复抓取,提高网站质量
1.4、制定sitemap文件位置
2.写法
该文件放置在文件的根目录下,并且文件名必须小写:http://www.dbgzs.shop/robots.txt
3.语法
3.1、User-agent:
3.1.1、指定哪个搜索引擎蜘蛛:Baiduspider(百度)、Googlebot(谷歌)、Sogouspider(搜狗)
3.1.2、*代码所有搜索引擎
3.2、Allow:表示允许蜘蛛抓取的栏目或文件
3.2.1、Allow:/web/ 表示允许访问web目录
3.2.2、Allow:/*.htm$ 表示允许访问html文件
3.3、Disallow:禁止抓取栏目或文件
Disallow:/web/:禁止抓取web目录
Disallow:/*.htm$:禁止抓取html文件
Disallow:/ 禁止抓取网站所有内容:
/表示根目录
4.工具:http://tool.chinaz.com/robots/
5.问题
5.1、如果搜索引擎已经收录了你的网页,这时候你不想让搜索引擎收录网页 咋办?
5.2、robots是不能删除搜索引擎中已经收录的页面
5.3、robots meta标签来解决该问题
6.robots meta标签:针对具体的页面
6.1、语法
6.1.1、():允许搜索引擎抓取页面与页面的链接
:不允许搜索引擎抓取页面与允许页面的链接
:允许搜索引擎抓取页面与不允许页面的链接
():不允许搜索引擎抓取页面与不允许页面的链接
7.解释
index:表示搜索引擎可以抓取该页面
noindex:表示搜索引擎不可以抓取该页面
follow:表示搜索引擎蜘蛛可以爬寻该页面的上的链接
nofollow:表示搜索引擎蜘蛛不可以爬寻该页面的上的链接
提醒:有些时候也友情链接交换可能会被加上nofollow,大家可以查看一下(避免灰帽)
资讯来源:https://www.pos56.cn/SEOyouhua/133.html
发布行业资讯
最新资讯
新
动力辅助机械手的应用与力平衡原理
新
瀚宣博大零基础辅导南京师范大学泰州学院五年制专转本哪些课程
新
瀚宣博大五年制专转本秋季辅导班周六周日开课啦校考英语题型免费听
新
瀚宣博大五年制专转本市场营销航空服务艺术与管理英语专业课开课
新
零基础备考五年制专转本英语专业课难学吗瀚宣博大辅导班怎么样
新
瀚宣博大针对五年制专转本校考英语专业课零基础周末班免费试听啦
新
瀚宣博大五年制专转本秋季辅导班开课啦1周2天全天上课免费试听
新
想考五年制专转本校考英语专业课有辅导班吗瀚宣博大通过率怎么样
新
瀚宣博大专转本辅导班针对五年制专转本所有专业内部小班开课招生
新
想问下备考五年制专转本光考前冲刺学学行吗英语专业课有真题卷吗
推荐资讯
热门资讯
热
江苏瀚宣博大2025年五年制专转本校考英语专业课暑假集训火热招生
热
江苏瀚宣博大专转本培训学校针对校考英语专业课内部资料考前押题
热
盐城工学院五年制专转本计算机科学与技术与南京师范大学泰州学院难度
热
瀚宣博大五年制专转本辅导班考前押题各专业分数线分析全都有
热
瀚宣博大专转本培训学校是南京医科大学康达学院内部指定辅导班
热
五年制专转本是第一学历备考怎么选择专业辅导班哪家好怎么上课
热
南京航空航天大学金城学院五年制专转本辅导班选瀚宣博大通过率高
热
瀚宣博大辅导班针对五年制专转本国际经济与贸易英语专业课开课
热
江苏瀚宣博大专转本辅导班怎么上课哪个专业通过率高预约免费试听
热
五年制专转本财务管理专业报考院校跨专业能报考英语专业课怎么学