您好!歡迎進(jìn)入廣東華商網(wǎng)絡(luò)科技有限公司

東莞做網(wǎng)站

seo優(yōu)化中:robots與nofollow有哪些區(qū)別

2019-11-09

   搜索引擎優(yōu)化優(yōu)化中robots一般用于站長約束搜索引擎拜訪頁面,所以說robots是網(wǎng)站跟搜索引擎爬蟲間的協(xié)議,一般站長經(jīng)過txt文本方法告訴搜索引擎爬蟲被答應(yīng)的權(quán)限,一般只需在根域項(xiàng)目錄下,未設(shè)置目錄拜訪權(quán)限的文件爬蟲都可以抓取的到,假設(shè)網(wǎng)站跟搜索引擎之間沒有協(xié)議,將使不行預(yù)知的很多信息走漏到網(wǎng)上,這不是雙方愿意看到的。

  robots作用是什么:

  1.假設(shè)網(wǎng)站改版了,整個(gè)文件夾都沒有了的時(shí)分,這個(gè)情況下就要思索屏蔽掉整個(gè)文件夾。咱們可以運(yùn)用robots來對這整個(gè)的文件夾中止屏蔽,例如網(wǎng)站里的ab文件夾因改版全都給刪掉了,這個(gè)時(shí)分就可以這姿態(tài)設(shè)置:

  User-agent: *

  Disallow: /ab/

  2.可以使用各種通配符對網(wǎng)站中止相對應(yīng)的分配,例如我不想網(wǎng)站抓取我的一切圖片,這個(gè)時(shí)分就可以運(yùn)用$來中止設(shè)置。一般咱們常見的圖片的格局是BMP?.jpg-w600、GIF、JPEG等格局。這個(gè)時(shí)分設(shè)置便是:

  User-agent: *

  Disallow: /.bmp$

  Disallow: /.jpg-w600$

  Disallow: /.gif-w600$

  Disallow: /.jpeg-w600$

  3.假設(shè)你只想某一個(gè)搜索引擎抓取你的信息,這個(gè)時(shí)分就可以用robots中止設(shè)置,例如:我只想我的網(wǎng)站被百度這個(gè)錄入,而不想被別的搜索引擎錄入。就可以使用robots中止設(shè)置。

  User-agent: Baiduspider

  Allow:

  User-agent: *

  Disallow: /

  4.還可以使用*來屏蔽掉相關(guān)的URL,有些網(wǎng)站不答應(yīng)搜索引擎抓取動(dòng)態(tài)地址的時(shí)分可以使用這個(gè)*通配符來中止匹配設(shè)置。一般情況下動(dòng)態(tài)URL的有一個(gè)特性便是有“?”這個(gè)時(shí)分咱們就可以使用這個(gè)特性來中止匹配的屏蔽:

  User-agent: *

  Disallow: /*?*

  5.屏蔽一切的搜索引擎抓取信息,假設(shè)你的網(wǎng)站僅僅你的私密性的網(wǎng)站,不想太多的人知道的話,可以使用robots屏蔽掉一切的搜索引擎,例如你寫的私家博客。你就可以把搜索引擎全都屏蔽掉。

  robots與nofollow有哪些區(qū)別

  robots文件是在根目錄中的一個(gè)txt文本文件,里面用代碼句子告訴蜘蛛什么可以抓取,什么不能抓取,從一初步就告訴了蜘蛛:“我有些東西不能讓你看,請你主動(dòng)繞開。”而nofollow特點(diǎn)的鏈接,意義是告訴蜘蛛這個(gè)鏈接你可以看看,可是跟我網(wǎng)站無關(guān),不要給這個(gè)鏈接權(quán)重,這是比較直觀的說法。

  說得更粗淺點(diǎn)robots一初步就告訴蜘蛛咱們什么鏈接不要去抓取,而關(guān)于nofollow標(biāo)簽來說,他無法儉省咱們的蜘蛛資源,銜接中加了nofollow標(biāo)簽,蜘蛛還是會抓取這個(gè)鏈接,僅僅不傳送權(quán)重,也便是咱們的網(wǎng)站不對這個(gè)鏈接傳送權(quán)重。


標(biāo)簽

近期瀏覽:

熱門搜索:東莞網(wǎng)站建設(shè)東莞做網(wǎng)站東莞建網(wǎng)站

華商網(wǎng)絡(luò)專業(yè)為企業(yè)提供基礎(chǔ)互聯(lián)網(wǎng)建設(shè)服務(wù):網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)站設(shè)計(jì),微官網(wǎng)設(shè)計(jì)制作,小程序開發(fā)等等,您的選擇是我們奮力向前的最好動(dòng)力!

版權(quán)所有:廣東華商網(wǎng)絡(luò)科技有限公司 備案號: 粵ICP備13071417號

獲取同行網(wǎng)站建設(shè)方案,10秒填寫,急速獲得

今日已有165人獲取方案

在線客服
服務(wù)熱線
400 0769 366
15217380701

業(yè)務(wù)咨詢微信
返回頂部