|
|
發表於 2016-2-19 15:12:43
|
顯示全部樓層
|
愁悶二：robots.txt寫法遵守規矩，引擎也賜與遵守！那麼就是眼鏡蛇以上文┞仿的剖斷缺點！不是51的robots.txt缺點！
什麼是robots.txt文件?
引擎經由過程一種法度榜樣robot（又稱spider），主動拜訪互聯網上的網頁並獲取網頁信息。
您可以在您的網站中創建一個純文本文件robots.txt，在這個文件中聲明該網站中不想被robot拜訪的部分，如許，該網站的部分或全部內容就可以不被引擎收錄了，或者指定引擎只收錄指定的內容。
因爲剛寫了51是因爲二級玉米氾濫和站點垃圾造成被封，去站長站看見“眼鏡蛇”寫的是因爲51的robots.txt的原因。
我細心看了51的robots.txt而最後要駁反“眼鏡蛇”的斷定和定論！
每個站點都必須要有robots.txt嗎？
不必定，看情況
那麼robots.txt是針對任何引擎嗎？
不必定，引擎的概念是什麼先搞明白！至少他有蜘蛛，並且遵守robots.txt語法。像百度，google,yahoo都遵守
第一結不雅爲
官方的robots.txt
robots.txt放在哪裏？
根目次下，就是經由過程 http://www.abc.com/robots.txt等瀏覽拜訪到的！
robots.txt怎麼寫？
請萌芽：http://www.robotstxt.org/
因爲眼鏡蛇說百度殺了51是因爲51的robots.txt
“51.com消掉原因是公司想借機炒作？”
（接洽到五一國慶閣下百度大年夜範圍檢查並封殺作弊網站，開端讓業界認爲51.com是百度處罰的網站之一，
經由過程某同夥提示到51.com的robots.txt文件，讓大年夜家明白了百度網站只收錄一頁的原因，
並不是引擎工資所至，而是51.com自身原因。 ）
愁悶一：五一成“國慶”了！
分析辯駁：
因爲51的主頁都在home下或者這個二級玉米下，那麼就這個來說！
1：http://www.51.com/robots.txt 18行
Disallow: /home/ （假設只針對百度，因爲google 沒把51怎麼着，而之後分析則套用google的一些現象比較百度，除非他們不是一樣性質的遵守robots.txt的引擎！）
百度給出的定義：
http://www.baidu.com/search/robots.html
那麼就是說袈溱http://www.51.com/home/index.htm/index.html/index.shtml不克不及被收錄，因爲home目次下無主頁！
那是不是如今該可以返回到http://www.51.com/了呢？這個做法給引擎造成若幹麻煩？造成若幹垃收受接收錄？
http://www.51.com/home/index.htm 404缺點
卻在之前百度收錄了我的http://home.51.com/home.php?user=piaoge999或者http://piaoge999.51.com呢？
http://www.51.com/home/index.html 404缺點
http://www.51.com/home/index.shtml 404缺點
http://www.51.com/home/index.php 404缺點
http://www.51.com/home/ 404缺點
肯定HOME下無默認首頁文件，一般都是404頁，如許多引擎會很不友愛的，那麼當然細心點的┞肪點都邑杜絕被引擎視爲逝世連接。
51的錯法就是"Disallow:/help/"則許可robot拜訪/help.html，而不克不及拜訪/help/index.html
剖斷：Disallow: /home/ 對於百度精確！
因爲有：User-agent: * （針對所有）
查看：site:51.com/home ，site:51.com/home/ ，site:www.51.com/home ， site:www.51.com/home/
在google都有收錄，而不是樊籬了home下任何，而只是home下的默認首頁！
今朝看不見百度的現象，根據User-agent: * （針對所有）解釋百度當時也是如許！（80%一樣）
再查：site:home.51.com
51 博客網迎接您home.51.com/ - 類似網頁
似乎home.51.com/下有首頁，似乎home面前目今也有首頁！
我們點以前則跳轉到http://www.51.com/，因爲今朝引擎都可以辨認和收錄url轉發而非跳轉！
隨便查下home.51.com/的┞肪點拜訪應用情況！
比如：第二結不雅
獻給我最愛的00
home.51.com/home.php?user=nicolelove - 5k - 彌補材料 - 網頁快照 - 類似網頁
而你應用“http://nicolelove.51.com ”也拜訪的是此“home.51.com/home.php?user=nicolelove”
也可以 ：http://www.51.com/home/Index.php?user=nicolelove （home下的任何其他文件可以收錄和拜訪）
點肯定急速返回到“http://www.51.com/”如許的做法稍微比404缺點返回友愛了一些，可是假如我今天申請了，明天51刪除我了，
也可以：http://51.com/home/Index.php?user=nicolelove 拜訪而到http://www.51.com/home/Index.php?user=nicolelove
也可以：http://www.51.com/home.php?user=aiyoweiyaaaa到http://home.51.com/home.php?user=aiyoweiyaaaa
嚴格按照URL嗣魅這個可以說是多URL或者路徑重疊，或者紛亂，只是一些沒告訴那些站長，只告訴站長
“http://nicolelove.51.com ”就是你的主頁url
彌補：
<*** LANGUAGE="Java***">
<!--
var t = addAccessRec();
if (isLoginF == 'y' && isLoginHide != 'y') {
if (isAddAccess == 'y' && t[0] == true) {
var URL = "addAccessCount.php?user=nicolelove&visituser=&time=1178309340";
addAccess(URL); // 增長訪客記錄
}
}
if (isAddCount == 'y' && t[1] == true) {
var URL = "addClickCount.php?user=nicolelove&time=1178309340";
addAccess(URL); // 增長點擊數
}
function addAccess(URL)
{
var oXMLHttp = new InitAjax();
oXMLHttp.open("GET",URL,true); //異步
oXMLHttp.setRequestHeader('charset','utf-8');
oXMLHttp.Send(null);
在http://www.yookee.org/dispbbs_17_313_1.htm“引擎優化優化之“不要隨便馬虎應用泛解析” 特別拿51來分析了的！
}
LoadXMLHTTP("/home/addMyVisitors.php?who=nicolelove");
//-->
</***>
"Disallow:/help/"則許可robot拜訪/help.html，而不克不及拜訪/help/index.html
看下最後第三段代碼！
引擎在更多時是不許可如許的現象的。二級玉米和自力玉米都可以認爲不合域下的┞肪點和網頁！
比如：http://piaoge999.51.com 這個是不存在申請的url站站點，那麼你輸入回車後就會提示：該用戶不存在
提示URL爲：http://home.51.com/home.php?user=piaoge999
降低了若幹百度的技巧靠得住性的諷刺？
只是沒這個寫的具體，而這個文┞仿飄哥則做了70%的分析列舉解釋。要解釋的是51被封是接洽到潦攀濫用泛解析！
而辯駁“眼鏡蛇”的是針對他說51的robots.txt的問題造成被封！而51的robots.txt寫法相符和遵守！
飄哥到今天還沒應用過robots.txt，只是之前幫一個同夥大年夜google拒絕收錄而找汗青記錄發明他的玉米曾經存在robots.txt
內容寫法是禁止收錄此站。告訴之則給google寫信賜與了收錄。因爲那玉米停了一段時光，google則照樣按照當時robots.txt賜與封閉！
此文停止，51的robots.txt有錯嗎？51的robots.txt是針對百度的嗎？百度是根據51的robots.txt把他殺了的嗎？ |
|
樓主
發表於 2016-6-30 01:42:52
