上篇文章分析了使用robots.txt不能阻止網(wǎng)頁(yè)被抓取收錄的原因,那么,如何有效阻止網(wǎng)頁(yè)被收錄呢,方法是使用noindex元標(biāo)記。
上篇文章分析了使用robots.txt不能阻止網(wǎng)頁(yè)被抓取收錄的原因,那么,如何有效阻止網(wǎng)頁(yè)被收錄呢,方法是使用noindex元標(biāo)記。
要阻止某些網(wǎng)頁(yè)被搜索引擎抓取收錄,大家首先想到的方法應(yīng)該是使用 robots.txt 吧。不過(guò),如果想禁止搜索引擎抓取某些網(wǎng)頁(yè),使用 robots.txt 是不夠的。