- 相關(guān)推薦
robots文件的規(guī)范寫法
以下是應(yīng)屆畢業(yè)生網(wǎng)為大家整理好的有關(guān)SEO網(wǎng)站優(yōu)化的知識,希望對大家有所幫助!
一、概念
1、網(wǎng)站和搜索引擎之間的協(xié)議文件
2、蜘蛛爬行網(wǎng)站的第一個(gè)要訪問的文件
3、屏蔽內(nèi)容:不想被抓取的隱私內(nèi)容,后臺、數(shù)據(jù)庫文件、模板、插件文件...或者做了偽靜態(tài)就屏蔽動態(tài)路徑
二、robots語法
1、User-agent 定義搜索引擎類型
2、Disallow 定義禁止抓取收錄地址
3、Allow 定義允許抓取收錄地址
4、* 匹配0或多個(gè)任意字符
5、$ 結(jié)束符
6、% 代表中文路徑
7、? 代表動態(tài)路徑
8、Sitemap 網(wǎng)站地圖
三、robots寫法舉例
User-agent: *
Disallow: /plus
Disallow: /include
Disallow: /templets
Disallow: /data
Disallow: /dedemao
Disallow: /install
【robots文件的規(guī)范寫法】相關(guān)文章:
監(jiān)理文件資料的類型-監(jiān)理文件資料分類03-27
電腦里哪些文件屬于垃圾文件05-30
ai文件怎么導(dǎo)出保存為ps文件04-27
編制電梯招標(biāo)文件03-30
Linux文件權(quán)限詳解05-11
文件隱藏了怎么恢復(fù)05-18
監(jiān)理管理文件的作用12-26
asp文件怎么打開06-09
Log是什么文件01-14