有没有办法告诉机器人不要查看目录?

有没有办法告诉机器人不要查看目录?

我有一个充满图像的目录,我不希望机器人看到这些图像,有没有办法将这个目录设为私有?

谢谢!

答案1

如何在搜索引擎优化(SEO)中使用 Robots.txt


对于包含您不想让搜索引擎抓取的文件的任何文件夹, 输入“Disallow:/文件夹名称” 。


或者,对您不希望搜索引擎索引的任何页面或文件输入“Disallow:/filename.filetype” 。

请注意以下例子:

* Disallow: /private/
* Disallow: /private/image01.jpg

答案2

在网站的根目录中创建一个 robots.txt 文件。在该文件内放入

User-agent: *
Disallow: /images

答案3

这被称为robots.txt 文件,并且大多数机器人都会尊重您在 robots.txt 中的请求。

您将需要如下内容:

User-Agent: *
Disallow: /path/to/images/

答案4

是的,像这样:

User-agent: *
Disallow: /MyImageDirectory

相关内容