Disallow:该项的值用于描述不希望被访问的一组URL。

这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。

"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

• 要拦截整个网站，请使用正斜扛。
Disallow:/

• 要拦截目录及其中的所有内容，请在目录名后添加正斜扛。
Disallow:/private_directory/

• 要拦截网页，请列出该网页。
Disallow:/private_file.html

网址区分大小写。例如：Disallow:/private_file.html
会拦截 private_file.html，
但不会拦截 Private_File.html。