|
|
|
|
|
|
分類目錄
贊助商
熱門標(biāo)簽
網(wǎng)速寬帶 無(wú)線網(wǎng)絡(luò) 免費(fèi)WiFi 網(wǎng)絡(luò)診斷 系統(tǒng)優(yōu)化 windows ADSL寬帶 光纖寬帶 城市光網(wǎng) 智慧城市 網(wǎng)絡(luò)加速 網(wǎng)絡(luò)安全 網(wǎng)速測(cè)試 網(wǎng)絡(luò)工具 路由器 交換機(jī) 寬帶貓 網(wǎng)卡 蹭網(wǎng) 3G 4G 資費(fèi) 電信 聯(lián)通 移動(dòng) 鐵通 廣電寬帶 e家寬 長(zhǎng)城寬帶 瀏覽器 鵬博士 WiFi WLAN LTE HSPA Verizon Google
301 Adsense alimama Baidu Asp ZBlog Asp.net DNS Free hosting GoDaddy Google Html Flash Alexa Internet JavaScript Oracle php SEO xml
搜索
- robots.txt Disallow和Allow上下級(jí)目錄或文件的寫法
我們有時(shí)需要在 robots.txt Disallow和Allow某一目錄或文件，但是不知道該如何去寫。其實(shí)，對(duì)于有關(guān)聯(lián)的目錄來(lái)說(shuō)，我們只需遵循一個(gè)原則，就好處理了，那就是：先寫Disallow再寫Allow。我們看看Google的 robots.txt ，如圖看到：先 Disallow /search 這個(gè)目錄，再 Allow /search/about 這個(gè)目錄或文件。
- robots.txt 語(yǔ)法詳解：*、$、?等字符的含義及用法
創(chuàng)建 robots.txt 文件很簡(jiǎn)單，您可以在任何文本編輯器中創(chuàng)建一個(gè) robots.txt 文件，它是ASCII編碼的文本文件，而不是HTML文件。本文將詳細(xì)介紹 robots.txt 的語(yǔ)法及用法，以及各種注意問題。
- 屏蔽百度蜘蛛或某一爬蟲的四種方法
今天看到群里有人說(shuō)被一俄羅斯爬蟲一天內(nèi)訪問網(wǎng)站幾千次，想屏蔽它，其實(shí)，類似這樣的問題解決方案網(wǎng)上有不少文章，屏蔽俄羅斯爬蟲跟屏蔽百度蜘蛛的原理是一樣的，可以通過如下四種方法來(lái)處理。
- 百度蜘蛛最新UA及各大搜索引擎蜘蛛爬蟲UA匯總
了解各大搜索引擎蜘蛛爬蟲的UA，對(duì)我們進(jìn)行某些程序編寫十分有用，例如網(wǎng)頁(yè)判斷客戶端來(lái)源時(shí)，UA是常用的標(biāo)準(zhǔn)之一。本文收集了各大搜索引擎的蜘蛛爬蟲UA，以便需要時(shí)查閱。
- 通過UA或反查IP兩種方法識(shí)別百度蜘蛛【官方說(shuō)法】
我們?cè)诜治鲈L問日志時(shí)，往往要判斷各種來(lái)路，包括各種搜索引擎來(lái)路、真實(shí)訪客來(lái)路、直接輸入來(lái)路、網(wǎng)頁(yè)推介來(lái)路、各種蜘蛛來(lái)路等，而對(duì)于蜘蛛來(lái)路而言，百度蜘蛛又尤為重要分析的部分。那么我們?nèi)绾巫R(shí)別百度蜘蛛呢？近日，官方給出了兩種說(shuō)法，一種是通過UA來(lái)識(shí)別，另一種是通過反查IP來(lái)識(shí)別。
- php/asp/asp.net判斷百度移動(dòng)和PC蜘蛛的源代碼
我們統(tǒng)計(jì)網(wǎng)站流量，遇到百度蜘蛛的時(shí)候，為了更好更細(xì)的統(tǒng)計(jì)，需要把百度蜘蛛的移動(dòng)端和PC端分別來(lái)統(tǒng)計(jì)，這對(duì)網(wǎng)站分析有著非常重要的意義。本文提供判斷百度移動(dòng)蜘蛛和百度PC蜘蛛的源代碼，有php、asp、asp.net三個(gè)版本。
