Robots META標(biāo)簽則主要是針對(duì)一個(gè)個(gè)具體的頁(yè)面，
Robots META
。和其他的META標(biāo)簽（如使用的語言、頁(yè)面的描述、關(guān)鍵詞等）一樣，Robots META標(biāo)簽也是放在頁(yè)面的＜head＞＜/head＞中，專門用來告訴搜索引擎ROBOTS
如何抓取該頁(yè)的內(nèi)容。
Robots META標(biāo)簽的寫法：
Robots META標(biāo)簽中沒有大小寫之分，name=”Robots”表示所有的搜索引擎，可以針對(duì)某個(gè)具體搜索引擎寫為name=”BaiduSpider”。
content部分有四個(gè)指令選項(xiàng)：index、noindex、follow、nofollow，
指令間以“,”分隔。
INDEX 指令告訴搜索機(jī)器人抓取該頁(yè)面；
FOLLOW 指令表示搜索機(jī)器人可以沿著該頁(yè)面上的鏈接繼續(xù)抓取下去；
Robots Meta標(biāo)簽的缺省值是INDEX和FOLLOW，只有inktomi除外，對(duì)于它，缺省值是INDEX,NOFOLLOW。
這樣，一共有四種組合：
＜META. NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞
＜META. NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞
＜META. NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞
＜META. NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞
其中＜META. NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以寫成＜META. NAME=”ROBOTS” CONTENT=”ALL”＞；
＜META. NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞可以寫成＜META. NAME=”ROBOTS” CONTENT=”NONE”＞
目前看來，絕大多數(shù)的搜索引擎機(jī)器人都遵守robots.txt的規(guī)則，而對(duì)于Robots META標(biāo)簽，目前支持的并不多，但是正在逐漸增加，如著名搜索引擎
GOOGLE就完全支持，而且GOOGLE還增加了一個(gè)指令“archive”，可以限制GOOGLE是否保留網(wǎng)頁(yè)快照，