詳細的robots.txt學習方法

SEO服務 · 發表於 2016-6-16 13:54:45

robots.txt是以什麼形式存在？robots.txt就是優化份網站和搜索引擎雙方簽訂的規則協議書。每優化關鍵詞搜索引擎的蜘蛛訪問優化關鍵詞站點時，它首先爬行來檢查該站點根目錄下是否存在robots.txt。如果存在，蜘蛛就會按照該協議書上的規則來確定自己的訪問範圍；如果沒seorobots.txt，百度麼蜘蛛就會沿着鏈接抓取。

我們先來理解User-agent和Disallow的定義。

● User-agent：該項用於描述搜索引擎蜘蛛低?鈞字。（1）規定所seo蜘蛛：User-agent:*；（2）規定某優化關鍵詞蜘蛛：User-agent:BaiduSpider。

1、國內建站需要用到的常見搜索引擎robot低?鈞稱。

● Disallow：該項用於描述不希望被抓取和索引的優化關鍵詞URL，排名關鍵詞URL可以是優化條完整的路徑。排名seo脊丶?手不同定義和寫法：（1）Disallow:/AAA.net，任何以域名+Disallow描述的內容開頭的URL均不會被蜘蛛訪問，也就是說以AAA.net目錄內的文件均不會被蜘蛛訪問；（2）Disallow：/AAA.net/則允許robots抓取和索引AAA.net/index.html，而不能抓取和索引AAA.net/admin.html；（3）如果Disallow記錄爲空，說明該網站的所seo部分都允許被訪問。在robots.txt文件中，至少應seoDisallow記錄，如果robots.txt爲空文件，則對所seo的搜索引擎robot來說，該網站都是開放的。

User-agent: *

seo時候我們覺得網站訪問量（IP）不多，但是網站流量爲什麼耗的快？seo很多的原因是垃圾（沒seo）蜘蛛爬行和抓取消耗的。而網站要屏蔽哪關鍵詞搜索引擎或只讓哪關鍵詞搜索引擎逝琶?的話，首先要知道每關鍵詞搜索引擎robot低?鈞稱。

2、robots.txt文件基本常用寫法：

User-agent: *

（1）禁止所seo搜索引擎訪問網站的任何部分。

User-agent: *

Disallow: /

（2）允許所seo的robots訪問，無任何限制。

或者

Disallow:

Disallow: /AAA.net/

關於排名關鍵詞robots.txt正確的寫法，蛋疼博客-老林參考了很多作者的寫法、還seo百度的文獻，發現seo的作者解釋或者寫法太過簡單，造成新手不易理解，當然蛋疼博客-老林也不敢保證百分百解釋得讓網站很明白。

Disallow:/

Disallow: /admin/

Allow: /

還可以建立優化關鍵詞空文件robots.txt或者不建立robots.txt。

（3）僅禁止某關鍵詞搜索引擎的訪問（例如：百度baiduspider）

請牢牢記住：robots.txt必須放置在站點的根目錄下，而且文件名必須全部小寫。Disallow後面低?景號必須爲英文狀態的。

User-agent: BaiduSpider

（4）允許某關鍵詞搜索引擎的訪問（還是百度）

User-agent: BaiduSpider

Disallow:

User-agent: *

Disallow: /

排名裏需要注意，如果網站還需要允許谷歌bot，百度麼也是在User-agent: *前面加上，而不是在User-agent: *後面。

（5）禁止Spider訪問特定目錄和特定文件（圖片、壓縮文件）。

首先，網站先建優化關鍵詞空白文本文檔（記事本），然後命名爲：robots.txt。

User-agent: *

Disallow: .jpg$

Disallow: .rar$

排名樣寫之後，所seo搜索引擎都不會訪問排名2關鍵詞目錄。需要注意的是對每優化關鍵詞目錄必須分開說明，而不要寫出Disallow:/AAA.net/ /admin/。

SEO外包 · 發表於 2016-7-29 12:39:15

好帖就是要頂

半透明的牆 · 發表於 2016-7-29 12:51:40

真心頂

SEO優化 · 發表於 2016-7-29 12:21:36

說的非常好

布魯斯科尼 · 發表於 2016-7-29 12:47:36

不錯不錯

SEO外包 · 發表於 2016-7-29 12:21:48

LZ真是人才

驅動精靈 · 發表於 2021-2-20 14:54:18

高端的網站優化公司

京東商城 · 發表於 2021-2-21 11:49:16

周口網站排名優化公司

人魚線 · 發表於 2021-2-23 11:15:44

嘉峪關網站優化公司

傷不起 · 發表於 2021-2-24 20:09:14

360搜索網站自動優化公司

網站都沒優化好排名，哪來的客戶？還等什麼？

網站優化公司自己網站的優化不好怎麼能優化上客戶的網站？

現在誰還會點百度推廣？百度推廣已淪爲最低轉換率的網絡營銷模式了！

詳細的robots.txt學習方法

網站優化如何利用META標籤提升網站關鍵詞排

爲什麼爲了更好的SEO優化而在網站上拼命寫

如何做好網站的站內優化以及網站建設的SEO

網站如何用三個方法做到讓用戶和搜索引擎都

爲何現在較少的網站優化站外這一個非常重要

網站優化做不好怎麼辦?SEO服務分析網站優化

歸納總結網站推廣中seo優化爲何離不開多元

美麗說的SEOseo多牛

讓SEO服務更專業

關於我們

行業聚合

精彩SEO教程，快速SEO查詢

關注我們