对于想要在网站上索引尽可能多的页面的营销人员来说可能非常诱人提高他们的搜索引擎权威.
但是，虽然发布更多与特定关键字相关的页面（假设它们也是高质量的）确实会提高该关键字的排名，但有时在网站上保留某些页面实际上更有价值 输出 搜索引擎的索引。
… 说什么？！
和我们在一起吧，伙计们。这篇文章将引导您了解为什么您可能想要从 SERP（搜索引擎结果页面）中删除某些网页，以及具体如何执行此操作。
从 Google 取消页面索引
在某些情况下，您可能希望从搜索引擎抓取和索引中排除网页（或网页的一部分），例如：
- 至防止重复内容 （当搜索引擎索引的页面有多个版本时，例如内容的适合打印的版本）被索引
- 将管理和登录页面视为内部使用，除非它们是供社区使用的
- 对于 感谢页面 （即访问者在在您的着陆页之一上进行转化）访问者可以访问着陆页承诺的任何优惠，例如电子书 PDF 的链接
这是感谢页面的内容我们的 SEO 技巧电子书 看起来像，例如：
您希望所有登陆您的感谢页面的人都能到达那里，因为他们已经在登陆页面上填写了表格 - 不能 因为他们在搜索中找到了您的感谢页面。
为什么不？因为任何在搜索中找到您的感谢页面的人都可以直接访问您的潜在客户生成优惠，而无需向您提供他们的信息来通过您的潜在客户捕获表单。任何了解的营销人员着陆页的价值 了解在访问者访问您的优惠之前首先捕获这些访问者作为潜在客户的重要性。
底线： 如果您的感谢页面可以通过简单的谷歌搜索轻松找到，那么您可能会留下有价值的线索。
更糟糕的是，您甚至可能会发现某些长尾关键字的排名最高的页面可能是您的感谢页面 - 这意味着您可能会邀请数百个潜在客户绕过您的潜在客户捕获表单。这是您想要从 SERP 中删除某些网页的一个非常令人信服的原因。
那么，如何从搜索引擎中“取消索引”某些页面呢？以下是三种方法。
从搜索引擎中取消网页索引的 3 种方法
Robots.txt 去索引
在以下情况下使用：您希望更好地控制取消索引的内容，并且您拥有必要的技术资源。
从搜索引擎结果中删除页面的一种方法是将 robots.txt 文件添加到您的网站。使用此方法的优点是您可以更好地控制允许机器人索引的内容。结果？您可以主动将不需要的内容排除在搜索结果之外。
在 robots.txt 文件中，您可以指定是否要阻止来自单个页面、整个目录甚至单个图像或文件的机器人。还有一个选项可以防止您的网站被抓取，同时仍然可以让 Google AdSense 广告发挥作用（如果您有 Google AdSense 广告）。
话虽如此，在您可以选择的两种选择中，这一种需要最高的技术功夫。要了解如何创建 robots.txt 文件，您需要 阅读这篇文章 这准确地解释了如何做到这一点。.
HubSpot客户： 您可以了解如何在您的网站上安装 robots.txt 文件 此处，并了解如何自定义Robots.txt文件的内容此处.
如果您不需要 robots.txt 文件的所有控制，并且正在寻找更简单、技术含量较低的解决方案，那么第二个选项适合您。
Htaccess 无索引无跟随去索引
使用条件：您的网站在 Apache 上运行，并且 mod_headers 已启用，这是一个快速解决方案。
在这种情况下，您可以将这一行附加到 .htaccess 文件中：
标头集 X-Robots-Tag “noindex, nofollow”
表示您的网站可以编入索引，但绝不会显示在任何 Google 搜索结果中。
元数据无索引无跟随去索引
使用如果：您想要一个更简单的解决方案来取消整个网页的索引，和/或取消整个网页上的链接的索引。
使用元标记来防止页面出现在 SERP 中 - 和/或页面上的链接 - 既简单又有效。它只需要一点点技术知识——事实上，如果你使用正确的方法，它实际上只是一个复制/粘贴工作内容管理系统.
让您执行这些操作的标签称为“noindex”和“nofollow”。在介绍如何添加这些标签之前，让我们花点时间来定义和区分这两者。毕竟，它们是两个完全不同的指令——它们可以单独使用，也可以一起使用。
什么是“noindex”标签？
当您向网页添加“noindex”元标记时， 它告诉搜索引擎即使它可以抓取该页面，但也无法将该页面添加到其搜索索引中。
因此任何带有“noindex”指令的页面都会 不能 进入搜索引擎的搜索索引，因此不能显示在搜索引擎结果页面中。
什么是“nofollow”标签？
当您向网页添加“nofollow”元标记时， 它禁止搜索引擎抓取 链接 在该页面上。 这也意味着该页面在 SERP 上的任何排名权威都会 不能 被传递到它链接到的页面。
因此，任何带有“nofollow”指令的页面的所有链接都会被谷歌和其他搜索引擎忽略。
正如我之前所说，您可以单独添加“noindex”指令，也可以与“nofollow”指令一起添加。您也可以单独添加“nofollow”指令。
何时分别使用“noindex”和“nofollow”
仅添加“noindex”标签 当你 别 希望搜索引擎在搜索中索引您的网页，但您 do 希望它跟随该页面上的链接 - 从而为您的页面链接到的其他页面提供排名权限。
付费登陆页面就是一个很好的例子。您不希望搜索引擎对人们应该付费查看的登陆页面建立索引，但您可能希望它链接的页面从其权威中受益。
仅添加“nofollow”标签 当你 do 希望搜索引擎在搜索中索引您的网页，但您 别 希望它跟随该页面上的链接。
没有太多例子可以说明何时向整个页面添加“nofollow”标签而不添加“noindex”标签。当您弄清楚要在给定页面上做什么时，更多的问题是是否添加带或不带“nofollow”标记的“noindex”标记。
何时一起使用“noindex、nofollow”
添加“noindex”和“nofollow”标签 当你 别 希望搜索引擎在搜索中对网页建立索引，并且您不希望它跟随该页面上的链接。
感谢页面就是这种情况的一个很好的例子。您不希望搜索引擎为您的感谢页面建立索引，也不希望他们跟踪您的优惠链接并开始为该优惠的内容建立索引。
如何添加“noindex”和/或“nofollow”元标记
步骤1： 复制以下标签之一。
对于“无索引”：
对于“nofollow”：
对于“noindex”和“nofollow”：
步骤2： 将标签添加到页面 HTML 的 部分，即页面的标题。
如果您是 HubSpot 的客户， 这非常简单——单击此处或向下滚动查看针对 HubSpot 用户的说明。
如果你是 不能 HubSpot 客户， 那么您必须手动将此标签粘贴到网页上的代码中。别担心——这很简单。操作方法如下。
首先，打开您要取消索引的网页的源代码。然后，将完整标记粘贴到页面 HTML 的 部分（称为页面标头）内的新行中。下面的屏幕截图将引导您完成它。
标记表示标题的开始：
以下是粘贴在标头中的“noindex”和“nofollow”的元标记：
标记表示标头的结束：
繁荣！就是这样。该标签告诉搜索引擎转身离开，使该页面不出现在任何搜索结果中。
HubSpot 中无索引无关注
添加“noindex”和“nofollow”元标记更加容易。您所要做的就是打开 HubSpot 工具到要添加这些标签的页面，然后选择“设置”选项卡。
接下来，在“高级选项”下，单击“Head HTML”。在下面的窗口中，粘贴适当的代码片段。在下面的示例中，我添加了“noindex”和“nofollow”标签，因为它是一个感谢页面。
按“保存”，你就成功了。
成功 没有索引 没有关注页面
您刚刚神奇地从搜索引擎结果中删除了您的页面。现在，您可以开始再次捕获更多丢失的潜在客户。
现在，请记住，您不会立即看到结果。直到搜索引擎下次抓取您的页面时，您的更改才会生效。根据您通常在网站上发布新页面的频率，实际上可能需要几周的时间。您发布内容的频率越高，搜索引擎抓取您网站的频率就越高。跟踪 Google 访问您网站的频率的最佳方法是检查您的网站抓取统计数据 in 谷歌网站管理员工具.
底线： 如果您发现即使使用“noindex”标签，您的页面仍然出现在 Google 的搜索结果中，这可能是因为自您添加该标签以来 Google 尚未抓取您的网站。 您可以使用以下方式请求 Google 重新抓取您的页面 获取为 Google 工具.
另请注意，某些搜索引擎的网络爬虫对这些指令的解释可能与 Google 不同，因此您的页面可能仍会出现在其他搜索引擎的结果中。但对于谷歌来说，一旦它开始抓取你的网站，它就会工作得很好。
无论如何，您将能够睡得更安稳一点，因为您知道您最终使您的网站成为了更好的营销场所。
编者注：本文最初于 2016 年 XNUMX 月发布，为了全面性已进行了更新。
资料来源：https://blog.hubspot.com/marketing/how-to-unindex-pages-from-search-engines
