谷歌SEO教程第34篇—更新 robots.txt 文件

若要更新现有 robots.txt 文件中的规则，请从您的网站下载 robots.txt 文件的副本，然后进行必要的修改。

下载 robots.txt 文件

您可以通过多种方式下载 robots.txt 文件，例如：

• 导航到 robots.txt 文件（例如 https://example.com/robots.txt），并将其内容复制到计算机上的新文本文件中。在创建新的本地文件时，请务必遵循与文件格式相关的准则。
• 使用 cURL 等工具下载 robots.txt 文件的实际副本。例如：

  curl https://example.com/robots.txt -o robots.txt

• 使用 Search Console 中的 robots.txt 测试工具下载 robots.txt 文件的副本。
  1. 点击 robots.txt 编辑器右下角的提交。系统会打开“提交”对话框。
  2. 点击提交对话框中的下载，从 robots.txt 测试工具页面下载 robots.txt 代码。

修改 robots.txt 文件

在文本编辑器中打开从您的网站下载的 robots.txt 文件，然后对规则进行必要的修改。请确保使用正确的语法，并以 UTF-8 编码格式保存文件。

上传 robots.txt 文件

将新的 robots.txt 文件以文本文件的形式上传到您所在网域的根目录下，名称仍为 robots.txt 将文件上传到网站的方式在很大程度上取决于平台和服务器。请查看有关将 robots.txt 文件上传到网站的帮助提示。

刷新 Google 的 robots.txt 缓存

在自动抓取过程中，Google 的抓取工具会发现您对 robots.txt 文件所做的更改，并每 24 小时更新一次缓存的版本。如果您需要更快地更新缓存，请使用 robots.txt 测试工具的提交功能。

1. 点击查看更新后的版本，查看您当前使用的 robots.txt 是否是您希望 Google 抓取的版本。
2. 点击提交，通知 Google 您已更改 robots.txt 文件，并请求 Google 抓取该文件。
3. 在浏览器中刷新页面，以便更新该工具的编辑器并查看您当前使用的 robots.txt 代码，从而确定 Google 是否已成功抓取最新版本的 robots.txt 文件。在刷新页面后，您还可以点击下拉菜单，以便查看 Google 首次发现您的 robots.txt 文件最新版本时的时间戳。