元机器人标签是搜索引擎始终会遵循的指令。添加这些机器人标签可以使搜索引擎更容易索引您的网站。
指令和建议是有区别的。
元机器人标签或robots.txt文件是指令，谷歌会始终遵守。规范标签是建议，谷歌可以自行决定是否遵守。
页面级元标签有很多选项，但以下是一些与搜索引擎优化 (SEO) 相关的常见示例：
<meta name="robots" content="noindex,nofollow" />
robots 标签可能是您最常看到的标签。默认情况下它会有一个值index,follow，因此无需指定，all以下也是一个有效的替代版本：
<meta name="robots" content="all" />
通过像上面的例子那样设置 robots 标签noindex,nofollow，它会告诉搜索引擎：
- noindex：用于不在搜索结果中显示此页面。省略此参数
noindex则表示该页面可以被索引并在搜索结果中显示。在构建网站时，您可能不希望某些页面被索引。常见用例包括设置页面、内部搜索页面、政策页面等等。 - nofollow：用于阻止搜索引擎抓取此页面上的链接。省略此标签将允许机器人抓取并跟踪此页面上的链接。其他页面上的链接可能会启用抓取，因此省略此标签
nofollow将允许 Google 抓取并跟踪此页面上的链接。其他页面上的链接可能会启用抓取，因此，如果某个链接出现在页面 [页面名称]和link A[页面名称] 中，并且该链接有robots 标签，但[页面名称] 没有，则 Google 可能会决定抓取该链接。XYXnofollowY
**注：**您可以查看完整的指令列表。在谷歌官方文档中。
Googlebot 标签
