2013年底前國內(nèi)一些大型域名注冊商出現(xiàn)漏洞(參考國家互聯(lián)網(wǎng)應急中心發(fā)布的若干漏洞公告),無數(shù)的域名遭到惡意泛解析,黑客利用這些域名制造了無數(shù)的菠菜網(wǎng)頁,大量的網(wǎng)站收到傷害,被百度降權(quán)的例子也很多?。
歸納這些有害信息頁面,大約有這些特點:
1.黑客制造了不計其數(shù)的多級域名(如3級4級,有的達到6級,如x.y.a.yourdomain.com)
2.這些垃圾頁面文件名五花八門,多以拼音居多,比較長。
3.垃圾頁面短期內(nèi)難以清除,主域名權(quán)重越高越難清除。
4.短期內(nèi),刪除惡意解析的IP,在百度等搜索引擎的收錄不減反增。
那么,域名遭到惡意泛解析怎么辦呢?下面筆者以客戶的一個站為案例給出終極解決方案,說終極,因為筆者翻遍了互聯(lián)網(wǎng),基本上能找的資料都找過了,真正實用的并不多,而筆者通過2個多月的艱辛的摸索、思考找到一套行之有效的方法,這里奉獻給各位深受其害的站長。
一、問題發(fā)現(xiàn)
2014年1月初,偶然發(fā)現(xiàn)有菠菜頁面出現(xiàn),以為網(wǎng)站被掛馬了,檢查并未發(fā)現(xiàn)網(wǎng)站本身問題,登錄域名商域名管理系統(tǒng),發(fā)現(xiàn)被人惡意添加了泛解析,百度中site一下,無數(shù)垃圾信息觸目驚心,是不是太可惡了。
圖1
二、基本處理方法
在被惡意泛解析后,有2個選擇,要么直接刪除泛解析,要么將泛解析的惡意IP換成我們能控制的IP,便于后面做404。
(一) 直接刪除泛解析
如果惡意泛解析時間不長就被發(fā)現(xiàn),直接刪除就可以了,畢竟這時候搜索引擎還沒收錄或收錄很少,不會給網(wǎng)站造成很大的麻煩。
(二) 修改惡意泛解析的IP
如果搜索引擎已經(jīng)大量收錄了由于泛解析引起的垃圾頁面,直接刪除會造成搜索引擎索引庫中長期存在,不易清除,下面詳細介紹修改惡意IP后返回404代碼的方法。
1. 還是登錄域名管理平臺,添加三級域名泛解析*.h.mydomain.com 到自己的服務器IP(只要是自己能控制的IP應該都行,圖2)
圖2
2. IIS 里添加一個空主機頭的網(wǎng)站(圖3)網(wǎng)站目錄可以在主站根目錄下新建一個,比如404,404目錄下放置一個404文件,如404.asp,如圖4
圖3
圖4
3. 做偽靜態(tài)處理
利用ISAPI_Rewrite full版的(版本2.9以后)
RewriteCond Host: (.*)(h\.mydomain\.com
RewriteRule /(.*) /404.asp [I,U]
這樣,訪問任何以h.mydomain.com為主域的垃圾地址都轉(zhuǎn)向了404.asp,我們只要在404.asp里寫上<%response.Status="404 Not Found"%>即可返回404代碼,對各搜索引擎來說,就是該頁不存在,時間長了,垃圾網(wǎng)址會自動消失,但如果想盡可能短的時間讓搜索引擎從索引庫中刪除,還需要結(jié)合不同搜索引擎的特點分別處理。
三、不同搜索引擎的處理方式
(一)360搜索
就本案例來說,通過360快照投訴,效果很明顯,且看郵件回復,圖5。
圖5
(二)百度
百度是中文搜索的老大,讓這些垃圾頁面從百度的索引庫中刪除非常重要,但又是異常艱難,我很奇怪的是,正常的頁面要讓度娘收錄難死了,這種菠菜頁面她卻收得不亦樂乎。
既然度娘有能力發(fā)現(xiàn)我們網(wǎng)站有菠菜內(nèi)容進而降權(quán),那就該有能力不收錄這些垃圾網(wǎng)頁呀,何必弄得最后只有那些黑客得利而我們站長卻耗費大量的人力物力來應付呢。
發(fā)現(xiàn)問題后,我們進行了以下處理措施
一、在百度站長平臺反饋網(wǎng)站異常(有沒有效果,咱不知道,寫一下不費啥筆墨也沒壞處)
二、進行百度快照投訴,百度的快照投訴處理和360的機制有些不太一樣,人工還是機器處理不得而知,回復的郵件內(nèi)容千篇一律(圖6),但效果也是有的,需要2周左右時間。
圖6
三、做好網(wǎng)站垃圾頁面的404返回,然后提交死鏈
這一過程很辛苦,理想和現(xiàn)實差距很大(一個小細節(jié),用主域名mydomain.com和www.mydomain.com提交死鏈,站長工具都會受理的)。
圖7
(a)做好垃圾頁面的404狀態(tài)碼
前面介紹了,在我們在404.asp里寫入response.Status="404 Not Found",即可。
(b)百度蜘蛛訪問垃圾頁面時,記錄垃圾頁面地址入數(shù)據(jù)庫
dim User_Agent’用戶代理類型 可以用來判斷是什么蜘蛛來訪的
Dim User_Url’用戶訪問的網(wǎng)址
User_Agent=Request.ServerVariables("HTTP_USER_AGENT")
User_Url= Request.ServerVariables("HTTP_Host")& Request.ServerVariables("HTTP_X_REWRITE_URL") if instr(User_Url,"h.mydomian.com")>0 then’針對特定的垃圾地址進行過濾,也可以根據(jù)User_Agent判斷蜘蛛
'保存到數(shù)據(jù)庫,代碼省去…
end if
(c)一個偽靜態(tài)文件a.txt從數(shù)據(jù)庫動態(tài)生成垃圾頁面
還是利用rewrite做偽靜態(tài)
RewriteRule a\.txt /a.asp [I,U]
就是將a.txt隱射到a.asp,aasp中可以動態(tài)輸出前面記錄到的垃圾網(wǎng)址
(d)站長工具死鏈平臺定時更新a
在百度站長平臺,提交死鏈地址
http://www.mydomain.com/a.txt,頻率可以1天一次然而,站長平臺的反饋結(jié)果是令人失望的,圖8。
圖8
圖9
但通過各種工具檢測,實際上這些頁面返回的都是404代碼(圖9),這個問題令人百思不得其解,直到有一天在馬桶上終于想明白了(原來人在放松的時候的確能想明白很多事情),百度蜘蛛的DNS問題,(最近站長平臺又推出了抓取檢測功能,實際測試證實了我先前的推測)。
原來垃圾頁面采用成千上萬的多級域名如x1.h.mydomain.com,x2.h.mydomain.com,每一個頁面就相當于一個單獨的網(wǎng)站,在我們未處理惡意泛解析之前,百度的DNS服務器已經(jīng)將這成千上萬的網(wǎng)站記錄在案,當我們修改了惡意泛解析的IP地址后,百度的DNS服務器更新并不是十分及時,有些更新成我們的IP,有些則還是原來的惡意IP,但a.txt文件中包含還未更新DNS垃圾頁面時,在百度蜘蛛看來便是活鏈,這如果提交的諸多死鏈中只要包含一個活鏈,則全部死鏈不能快速刪除。
正是這樣的道理,我們完美、簡潔的刪除死鏈方案受到極大的影響,為了能盡快刪除這些死鏈,我們對原方案做了修改,采用化整為零的策略,圖10。
圖10
(a)、(b)步驟如前面所述,不再重復。
(c) 去重、篩選出百度的確收錄的網(wǎng)址
很多垃圾網(wǎng)址雖然百度蜘蛛有訪問,但卻不一定收錄,所以要確認下是否已經(jīng)收錄,方法很簡單,直接將垃圾網(wǎng)址放入百度搜索框搜索看是否查到,當然實際應用中,最好寫一個小工具批量查詢;另外,站長平臺目前死鏈文件上限是5萬個。
(d) 每一個垃圾網(wǎng)址做成一個死鏈文件提交
我們將c步驟中獲得的網(wǎng)址分割成一個一個的死鏈文件提交到平臺。
(e) 等待平臺刪除死鏈
這樣的處理,確保了可以刪除部分死鏈,成功率>50%,隨著時間的推移,百度蜘蛛DNS的更新,成功率越來越高,直到100%,就可以使用完美的方案了,圖11。
圖11
本文地址:
http:///news/n08/201403/15177.html,如要轉(zhuǎn)載,請注明轉(zhuǎn)載自5A農(nóng)業(yè)人才網(wǎng)
[1] [2] [3] 下一頁