问题：如果我不想要Alexa抓取我的站点，我应该怎样做？

类别：抓取

答案
Alexa不想抓取任何你想要保持私密的内容。你所要做的便是告诉我们。怎么做？通过使用一个简单的robots.txt文件。Robots.txt文件是网络上最常用的标准，是用来告诉蜘蛛，它们应该处在什么位置，而且告诉crawlers，它们不应该抓取你的站点。所有的主要的crawlers，包括Google，MSN，雅虎，等等上的那些，尊重这些robots.txt文件。在WEB管理员帮助网页上有一个扩展的信息，关于怎样在你的站点上创建一个robots.txt文件。