您好!歡迎進(jìn)入廣東華商網(wǎng)絡(luò)科技有限公司

東莞做網(wǎng)站

SEO高手需要懂得什么呢?

2019-12-13

  robots協(xié)議書是正確引導(dǎo)蛛蛛抓取網(wǎng)站地形圖,也用于維護(hù)網(wǎng)站信息和比較靈敏信息內(nèi)容,保證客戶私家信息和隱私維護(hù)不被損害。存有于網(wǎng)站根目錄正,以文件格式存有,留意robots文件夾名稱不可以隨意改變。

  SEO高手為什么要懂robots?

  書寫::表達(dá)關(guān)于某一爬蟲,

  :表達(dá)制止抓取

  :容許抓取

  .*通配符,表達(dá)悉數(shù)

  .$結(jié)束符,表達(dá)以哪些結(jié)尾

  /根域下就是指網(wǎng)站根目錄

  注:灶具顯現(xiàn)英文情況下的,并且后邊有一個空格符,首寫有必要小寫。

  例:

  1、User-agent:*Disallow:/關(guān)于悉數(shù)爬蟲制止抓取根目錄下的悉數(shù)銜接

      2、User-agent:BaiduspiderDisallow:/制止百度爬蟲抓取網(wǎng)站悉數(shù)聯(lián)接

     3、User-agent:*Disallow:/a/關(guān)于悉數(shù)的爬蟲制止抓取網(wǎng)站根目錄下的a目錄

     4、User-agent:*Disallow:/a關(guān)于悉數(shù)的爬蟲制止抓取網(wǎng)站根目錄下為“a”開端的文檔

    5、User-agent:*Disallow:/*?*(?表達(dá)動態(tài)性符)制止抓取網(wǎng)站根目錄下帶?號的動態(tài)性銜接

    6、User-agent:*Disallow:/*.js$制止抓取網(wǎng)站根目錄下邊以.js結(jié)尾的文檔

   7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取網(wǎng)站根目錄下邊“a”,容許抓取“a”目錄下邊的“b”目錄。

 8、User-agent:*Disallow:/a/Allow:/a/b制止抓取網(wǎng)站根目錄下邊“a”目錄,容許抓取“a”目錄中以“b”開端的文檔。


標(biāo)簽

近期瀏覽:

熱門搜索:東莞網(wǎng)站建設(shè)東莞做網(wǎng)站東莞建網(wǎng)站

華商網(wǎng)絡(luò)專業(yè)為企業(yè)提供基礎(chǔ)互聯(lián)網(wǎng)建設(shè)服務(wù):網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)站設(shè)計,微官網(wǎng)設(shè)計制作,小程序開發(fā)等等,您的選擇是我們奮力向前的最好動力!

版權(quán)所有:廣東華商網(wǎng)絡(luò)科技有限公司 備案號: 粵ICP備13071417號

獲取同行網(wǎng)站建設(shè)方案,10秒填寫,急速獲得

今日已有165人獲取方案

在線客服
服務(wù)熱線
400 0769 366
15217380701

業(yè)務(wù)咨詢微信
返回頂部