技術(shù)頻道導(dǎo)航
HTML/CSS
.NET技術(shù)
IIS技術(shù)
PHP技術(shù)
Js/JQuery
Photoshop
Fireworks
服務(wù)器技術(shù)
操作系統(tǒng)
網(wǎng)站運(yùn)營(yíng)
卡卡网是专业的网站测速平台,网速测试,测试网站速度,就来卡卡网 ~
问题反馈网络日志

DiyVM:香港VPS驚爆價(jià)36元一月
【UFOVPS】香港VPS超低延遲雙向CN2
CN2 GIA/1000Mbps $111/月
服務(wù)器 9.9/月 續(xù)費(fèi)同價(jià)
服務(wù)器 9.9/月 續(xù)費(fèi)同價(jià)

一一云主機(jī) 24元 3折起一一
香港HKBN大帶寬VPS,穩(wěn)定高速,原生IP
海外CN2云 低至$2.5/月
海外云低至2折 298/年
一一一云主機(jī) 26元起一一一

海外主機(jī) 5M CN2 低至$2/月
恒創(chuàng)科技 一 海外服務(wù)器 ● 高速穩(wěn)定
★官方產(chǎn)品 ★高價(jià)收量
10M CN2海外云VPS 53元/月
不限流VPS 5M CN2 $1.8/月

【菠蘿云】香港4G內(nèi)存99元,馬上開(kāi)通
飛碟云:動(dòng)態(tài)BGP防攻擊SSD云服務(wù)器
★高價(jià)收量 ★誠(chéng)邀SEO站長(zhǎng)
5折活動(dòng)中。。海外服務(wù)器 CN2 GIA
國(guó)內(nèi)SSD云服務(wù)器,BGP線路,穩(wěn)定高速

實(shí)力產(chǎn)品變現(xiàn)
實(shí)力產(chǎn)品變現(xiàn)
實(shí)力產(chǎn)品變現(xiàn)
實(shí)力產(chǎn)品變現(xiàn)
實(shí)力產(chǎn)品變現(xiàn)

贊助商

分類目錄

贊助商

最新文章

现在华纳云官网金秋活动,服务器全场续费同价,并且年付特惠-买1年立即减免2个月费...
中秋国庆佳节临近,香港IDC华纳云带来了“金秋好云约惠华纳&rdqu...
Jtti发来了新的专用服务器OFF,多个机房优惠促销,香港大带宽服务器$119/...
Jtti.cc是一家专注海外vps云服务器和专用服务器的idc,近日Jtti再推...
华纳云目前香港云服务器促销中,月付6折,年付及以上可享受特别折扣低至3折,续费与...
为庆祝新加坡2024年国庆日,Jtti云服务器年付立减60%,再额外免费送4个月...
Jtti推送了2024 NDP offer,CN2 GIA VPS云服务器月付-...

搜索

使用.htaccess阻止某些機(jī)器人爬蟲(chóng)訪問(wèn)網(wǎng)站

作者:admin    時(shí)間:2021-3-13 0:22:25    瀏覽:

一些爬蟲(chóng)不斷的訪問(wèn)網(wǎng)站,占用網(wǎng)站帶寬,對(duì)網(wǎng)站運(yùn)行產(chǎn)生不利的影響。為此,我們可以屏蔽某些陌生的爬蟲(chóng)訪問(wèn)網(wǎng)站,杜絕其抓取網(wǎng)站內(nèi)容,從而節(jié)省帶寬,減輕服務(wù)器壓力。為達(dá)到這個(gè)目的,我們可以使用.htaccess文件來(lái)實(shí)現(xiàn)。

 使用.htaccess阻止某些機(jī)器人爬蟲(chóng)抓取網(wǎng)站

使用.htaccess阻止某些機(jī)器人爬蟲(chóng)抓取網(wǎng)站

下面代碼檢查用戶代理字符串(即是UA),如果包含UptimeRobot關(guān)鍵詞,則返回403的禁止訪問(wèn)提示。

#get rid of the bad bot
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*UptimeRobot.* [NC]
RewriteRule .* - [F]

上述代碼中,號(hào)開(kāi)頭表示這行是注釋行,[NC]是忽略字符大小寫(xiě)的意思,[F]是Forbidden的首字母,即是禁止的意思。

如果要阻止多個(gè)機(jī)器人,則使用以下代碼:

#get rid of the bad bot
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*Robot1.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Robot2.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Robot3.* [NC,OR]
RewriteRule .* - [F]

這將阻止3個(gè)不同的機(jī)器人,即“ Robot1”,“ Robot2”,“ Robot3”。用你要屏蔽的Robot UA關(guān)鍵詞替換它們,不要從列表中刪除“ [OR]”,它告訴服務(wù)器列表中還有更多。

本文介紹了如何使用.htaccess阻止某些機(jī)器人爬蟲(chóng)訪問(wèn)網(wǎng)站,如果想要阻止某IP(段)訪問(wèn)網(wǎng)站,則可以看看此文使用.htaccess禁止某IP地址(段)訪問(wèn)網(wǎng)站。

標(biāo)簽: htaccess  
x
廣告: 【限時(shí)】云主機(jī) 24元/月
/* 左側(cè)顯示文章內(nèi)容目錄 */