蜘蛛機器人訪問索引頁面應(yīng)該遵循Robots Meta規(guī)范標(biāo)簽。Robots Meta標(biāo)簽應(yīng)該放到頁中面的什么位置呢？Robots Meta標(biāo)簽跟任何一種META的標(biāo)簽都是統(tǒng)一的。

那么我們?nèi)绾问褂肦obots Meta標(biāo)簽?zāi)兀?/p>

例如content具備多重屬性的時候要用逗號隔開，同時注意一個標(biāo)簽不能同時具備相悖的屬性，比如index與noindex就不能同時出現(xiàn)在content的標(biāo)簽中，使用的時候應(yīng)該多加注意。

Robots Meta放在HTML和HEAD的網(wǎng)頁代碼內(nèi)部。格式如下：

介紹一下content標(biāo)簽中經(jīng)常用到的屬性

NOODP -搜索結(jié)果中不使用

NOINDEX -屏蔽蜘蛛 哈哈（不索引當(dāng)前頁面）

NOFOLLOW -不跟蹤當(dāng)前頁面中所有的鏈接

NOARCHIVE -在搜索結(jié)果中不保存當(dāng)前頁面的快照

DMOZ中的描述信息，MSN、Yahoo也支持此類標(biāo)簽。

NONE -不索引當(dāng)前頁面以及其中的所有鏈接，跟“NOINDEX, NOFOLLOW” 含義相同

NOSNIPPET - 在搜索結(jié)果中不采用當(dāng)前頁面的頭部描述信息，且不保存當(dāng)前頁面的快照

通過以上標(biāo)簽的設(shè)置我們就可以輕松的設(shè)置自己想要的，比如屏蔽蜘蛛，不保存當(dāng)前快照，或者優(yōu)化人員針對相關(guān)引擎做一些標(biāo)簽的表現(xiàn)形式。

---