有這樣一群人，他們租用上百臺(tái)或更多服務(wù)器用于搭建網(wǎng)站，但并不自己維護(hù)網(wǎng)站內(nèi)容，而是在服務(wù)器上安裝鏡像軟件，實(shí)時(shí)采集其他網(wǎng)站的數(shù)據(jù)，克隆為自己所用，省去了海量的內(nèi)容維護(hù)工作。被采集的網(wǎng)站，除了站長辛苦更新的內(nèi)容被抄襲外，還可能出現(xiàn)被搜索引擎降權(quán)的情況。對(duì)于這種鏡像網(wǎng)站的行為，管理員除了譴責(zé)，別無他法。因?yàn)檫@些服務(wù)器都位于香港或國外，不需要ICP備案，查不出網(wǎng)站主體。

然而這不是最嚴(yán)重的，最嚴(yán)重的是很多時(shí)候網(wǎng)站管理員并不知道自己的網(wǎng)站已經(jīng)被鏡像克隆了！一般要到鏡像網(wǎng)站在搜索引擎有權(quán)重，已經(jīng)影響源站排名的時(shí)候（例如鏡像網(wǎng)站和源站爭搶相同關(guān)鍵詞的排名），管理員才可能發(fā)現(xiàn)。之所以說可能，因?yàn)楹芏嗾鹃L并不經(jīng)常檢查網(wǎng)站關(guān)鍵詞在搜索引擎的排名情況。

也就是說，最難的不是如何處理被鏡像克隆，而是如何及時(shí)發(fā)現(xiàn)網(wǎng)站被鏡像克隆。

首先，我們研究如何處理網(wǎng)站被鏡像克隆。

采集人員為了利益最大化，一般都會(huì)在每臺(tái)服務(wù)器部署上千個(gè)網(wǎng)站。為了節(jié)省服務(wù)器資源，不會(huì)存儲(chǔ)每個(gè)網(wǎng)站的數(shù)據(jù)到磁盤，而是訪問時(shí)實(shí)時(shí)采集。因此我們只需要攔截采集服務(wù)器訪問網(wǎng)站就可以解決鏡像克隆問題。高明的采集者，會(huì)讓采集服務(wù)器的訪問IP和采集IP使用不同的IP，因此不能直接攔截采集服務(wù)器的訪問IP，而是需要找出采集IP。方法很簡單，先在自己的網(wǎng)站開啟Webserver日志（IIS日志、Apache日志、Nginx日志），然后在鏡像網(wǎng)站域名訪問一個(gè)特殊的文件（例如：http://鏡像網(wǎng)站域名/dfwfg235tcs.html），此時(shí)采集軟件會(huì)同步請(qǐng)求你的網(wǎng)站，產(chǎn)生一條http://你的域名/dfwfg235tcs.html的日志，我們只需要找到這條日志，找出其中的客戶端IP，這個(gè)就是采集IP，阻止此IP訪問就能成功解決鏡像克隆問題。

然而這個(gè)方法有2個(gè)缺陷：

1、 對(duì)使用了CDN的網(wǎng)站無效。因?yàn)楂@取到的客戶端IP都是CDN節(jié)點(diǎn)的IP，一旦攔截，很多用戶就不能訪問網(wǎng)站了。

2、 如果采集者更換了采集IP，需要按上述方法重新找出采集IP。而采集者往往擁有海量IP可更換，處理起來非常耗時(shí)耗力。

對(duì)于上述的2個(gè)問題，以及如何及時(shí)發(fā)現(xiàn)網(wǎng)站已經(jīng)被鏡像克隆，有完美的解決方法嗎？

答案是有的！下面我們繼續(xù)分析。

采集者為了提升采集成功率，往往會(huì)在采集時(shí)加上蜘蛛標(biāo)簽，冒充搜索引擎爬蟲進(jìn)行采集，讓管理員不敢拉黑采集IP。（大部分網(wǎng)站都依賴搜索引擎，對(duì)于搜索引擎爬蟲皆奉若上賓，豈敢攔截）

因此我們可以對(duì)帶蜘蛛標(biāo)簽的訪問進(jìn)行判斷，判斷客戶端IP是真假蜘蛛。如果是假蜘蛛，立即攔截，這樣就輕松解決頻繁更換采集IP和無法及時(shí)知曉網(wǎng)站已被鏡像克隆的問題了。

如果你想通過分析網(wǎng)站日志來找出并攔截采集IP，我建議你放棄。首先你得有豐富的蜘蛛IP庫。其次針對(duì)使用了CDN的網(wǎng)站無效，因?yàn)閃ebserver無法穿透CDN。

因此必須使用第三方安全軟件才能實(shí)現(xiàn)，推薦使用《護(hù)衛(wèi)神.防入侵系統(tǒng)》，其“偽蜘蛛防護(hù)”模塊（如下圖一）專門用于攔截假蜘蛛，內(nèi)置豐富的蜘蛛IP庫，同時(shí)支持CDN穿透，使用了CDN的網(wǎng)站也能有效捕獲采集IP。至于如何及時(shí)發(fā)現(xiàn)網(wǎng)站被鏡像克隆，已經(jīng)不重要了，冒充蜘蛛訪問的一律被攔截，自然沒法再鏡像克隆了。

（圖一：護(hù)衛(wèi)神偽蜘蛛防護(hù)）

攔截效果如下圖二。

（圖二：護(hù)衛(wèi)神攔截假蜘蛛訪問）