久久久精品动漫,日本无码在线不卡,久久久精品视频免费网站,欧美草草影院第二页

（三）對谷歌的處理
　　總體評價，谷歌對這種惡意泛解析的處理無能為力，谷歌站長管理員工具雖然有刪除死鏈的功能，但卻只能刪除主域名下的死鏈，如yourdomain.com/xxx.html，無法刪除三級、四級如x.h.yourdomain.com這種垃圾地址，除非你將x.h.yourdomain.com這個網(wǎng)站進行驗證，面對成千上萬的垃圾網(wǎng)址和google在國內(nèi)的市場份額，還是不要這么費勁了。
　　然而，谷歌站長管理員工具提示我們可以使用robots來屏蔽不要的地址，我們只要讓谷歌蜘蛛訪問x.h.yourdomain.com/robots.txt 時返回disallow:/就行了。
具體代碼
if IsMatch(User_Agent,"Googlebot") and instr(User_Url,"robots.txt")>0 then’如果是google爬蟲索引robots那就告訴它
response.write("User-Agent: Googlebot" & vbnewline)
response.write("Disallow: /")
response.end
else
response.Status="404 Not Found"
end if
　　為了證明有效，我們在谷歌站長工具建立了二級域名h.mydomain.com(驗證方法參考后面的第四點。)用h.mydomain.com/1/ 這個垃圾地址進行Fetch，圖12

圖12

 
結(jié)果顯示Denied by robots.txt，說明設(shè)置成功。

上一頁  [1] [2] [3]  下一頁