robots.txt文件的作用，提高网站的排名！

许多网站管理员不花时间来使用他们的网站上的robots.txt文件。对于搜索引擎蜘蛛，使用robots.txt来看看目录搜索，robots.txt文件可以是非常有帮助保持您的实际蜘蛛索引的网页，而不是其他信息，如通过您的统计资料看！

robots.txt文件是有用的访问保持在您的主机目录是风马牛不相及到你实际的网站部分内容的文件夹和文件的蜘蛛。你可以选择的领域不断的蜘蛛包含节目，搜索引擎不能正确解析，并随时对您网站的网站统计出来的部分了。

许多搜索引擎不能正确地查看动态生成的内容，主要是由编程语言如PHP或ASP，创建。如果你有一个在线商店在您的托管帐户的程序，它在一个单独的目录中，你将是明智的阻挡从这个目录中的蜘蛛，因此只找到相关信息。

robots.txt文件应该被放置在那里为您存取您的主文件所在的目录。所以，你会被建议创建一个空白文本文件，并保存为robots.txt的，然后上传到您的网站托管到同一个目录的index.htm文件的位置。

下面是对的robots.txt文件中使用的例子：

若要阻止了在robots.txt文件目录，如您在网上商店名为/商店/你会做以下子目录：
不允许：/商店/

另一个例子，阻挡您的统计资料目录：
不允许：/统计/

您可能还希望禁止个人档案，你不想被搜索引擎搜索。例如，你不想search.php被搜索引擎解析。要做到这一点，你就在它自己的行下列类型：

不允许：/ search.php

遵守规则概述和创建robots.txt文件，您将保持搜索引擎蜘蛛出不需要的文件和目录，并让他们通过的重要文件去看看你的网站是一回事！