卡卡網(wǎng)

我們有時(shí)需要在 robots.txt Disallow和Allow某一目錄或文件，但是不知道該如何去寫。其實(shí)，對(duì)于有關(guān)聯(lián)的目錄來(lái)說(shuō)，我們只需遵循一個(gè)原則，就好處理了，那就是：先寫Disallow再寫Allow。我們看看Google的 robots.txt ，如圖看到：先 Disallow /search 這個(gè)目錄，再 Allow /search/about 這個(gè)目錄或文件。

創(chuàng)建 robots.txt 文件很簡(jiǎn)單，您可以在任何文本編輯器中創(chuàng)建一個(gè) robots.txt 文件，它是ASCII編碼的文本文件，而不是HTML文件。本文將詳細(xì)介紹 robots.txt 的語(yǔ)法及用法，以及各種注意問題。

今天看到群里有人說(shuō)被一俄羅斯爬蟲一天內(nèi)訪問網(wǎng)站幾千次，想屏蔽它，其實(shí)，類似這樣的問題解決方案網(wǎng)上有不少文章，屏蔽俄羅斯爬蟲跟屏蔽百度蜘蛛的原理是一樣的，可以通過如下四種方法來(lái)處理。

了解各大搜索引擎蜘蛛爬蟲的UA，對(duì)我們進(jìn)行某些程序編寫十分有用，例如網(wǎng)頁(yè)判斷客戶端來(lái)源時(shí)，UA是常用的標(biāo)準(zhǔn)之一。本文收集了各大搜索引擎的蜘蛛爬蟲UA，以便需要時(shí)查閱。

我們?cè)诜治鲈L問日志時(shí)，往往要判斷各種來(lái)路，包括各種搜索引擎來(lái)路、真實(shí)訪客來(lái)路、直接輸入來(lái)路、網(wǎng)頁(yè)推介來(lái)路、各種蜘蛛來(lái)路等，而對(duì)于蜘蛛來(lái)路而言，百度蜘蛛又尤為重要分析的部分。那么我們?nèi)绾巫R(shí)別百度蜘蛛呢？近日，官方給出了兩種說(shuō)法，一種是通過UA來(lái)識(shí)別，另一種是通過反查IP來(lái)識(shí)別。

我們統(tǒng)計(jì)網(wǎng)站流量，遇到百度蜘蛛的時(shí)候，為了更好更細(xì)的統(tǒng)計(jì)，需要把百度蜘蛛的移動(dòng)端和PC端分別來(lái)統(tǒng)計(jì)，這對(duì)網(wǎng)站分析有著非常重要的意義。本文提供判斷百度移動(dòng)蜘蛛和百度PC蜘蛛的源代碼，有php、asp、asp.net三個(gè)版本。