语句用于防止机器人访问特定文件夹或文件。这意味着如果您不希望 将您页面上的图像编入索引您可以将它们全部放在一个文件夹中并将其排除。如何假设您已经将所有照片移动到名为 图片 的文件夹中。现在您需要索引。件离照片文件夹。注意如果你忘记了 语句后的 字符像这样。会发生什么在那之后机器人会如鱼得水因为你禁止他 没什么。所以它开始索引所有页面和文件。允许 只有少数索引机器人理解此。
告诉机器人不要访问此文件夹进行
特定指令例如 就是其中之一。允许 允许 语句允许 中国泰国电话号码表 机器人确定它是否可以使用 禁止 命令查看锁定文件夹中的文件。为了说明这一点让我们看一下前面的例子。 我们已将所有照片保存在名为 的文件夹中并且由于 功能我们已阻止对其内容的完全访问。但过了一会儿我们得出的结论是我们只想让搜索引擎可以使用一张照片准确定位在 照片 文件夹中允许 位置让我们告诉 即使我们。
这就是 在这种情况下的内容文
已经阻止访问该文件夹它仍然可以搜索它并使用名称索 KY 列表 引照片例如 。在这方面我们需要为它创建一条指令如下所示 这些指令告诉 它可以在排除的 照片 文件夹中找到 。我如何决定要阻止哪些网站如果我们已经知道如何正确使用 我们可能想用它做点什么。因此哪些类型的页面应该从索引中排除显示搜索结果的页面。自动生成的页面。低排名网站也会获得不可避免的内容因此最好将它们。
