亚洲国产日韩欧美在线a乱码,国产精品路线1路线2路线,亚洲视频一区,精品国产自,www狠狠,国产情侣激情在线视频免费看,亚洲成年网站在线观看

robots文件的規(guī)范寫法

時(shí)間:2023-03-18 18:38:56 SEO網(wǎng)站優(yōu)化 我要投稿
  • 相關(guān)推薦

robots文件的規(guī)范寫法

以下是應(yīng)屆畢業(yè)生網(wǎng)為大家整理好的有關(guān)SEO網(wǎng)站優(yōu)化的知識,希望對大家有所幫助!

  一、概念

  1、網(wǎng)站和搜索引擎之間的協(xié)議文件

  2、蜘蛛爬行網(wǎng)站的第一個(gè)要訪問的文件

  3、屏蔽內(nèi)容:不想被抓取的隱私內(nèi)容,后臺、數(shù)據(jù)庫文件、模板、插件文件...或者做了偽靜態(tài)就屏蔽動態(tài)路徑

  二、robots語法

  1、User-agent 定義搜索引擎類型

  2、Disallow 定義禁止抓取收錄地址

  3、Allow 定義允許抓取收錄地址

  4、* 匹配0或多個(gè)任意字符

  5、$ 結(jié)束符

  6、% 代表中文路徑

  7、? 代表動態(tài)路徑

  8、Sitemap 網(wǎng)站地圖

  三、robots寫法舉例

  User-agent: *

  Disallow: /plus

  Disallow: /include

  Disallow: /templets

  Disallow: /data

  Disallow: /dedemao

  Disallow: /install

【robots文件的規(guī)范寫法】相關(guān)文章:

監(jiān)理文件資料的類型-監(jiān)理文件資料分類03-27

電腦里哪些文件屬于垃圾文件05-30

ai文件怎么導(dǎo)出保存為ps文件04-27

編制電梯招標(biāo)文件03-30

HTML文件的增強(qiáng)標(biāo)記12-26

Linux文件權(quán)限詳解05-11

文件隱藏了怎么恢復(fù)05-18

監(jiān)理管理文件的作用12-26

asp文件怎么打開06-09

Log是什么文件01-14