网页抓取
问题：Alexa将它的crawl数据保存多长时间？
类别：抓取
答案：
Alexa在我们的服务器上将抓取数据大概保存4-6个月。当我们抓取新的数据的时候，旧的将被替换掉。
问题：为什么Alexa抓取我的站点？
类别：抓取
答案：
Alexa因特网的crawler从可能潜在地服务网络数据的主机中收集数据。
Alexa是一个免费的网络导航服务，和人们的浏览器一起运行，浏览器在网上冲浪的时候，Alexa提供它们正在访问的站点的有用的信息并建议一些相关的站点。
Alexa因特网抓取万维网对公众开放的内容来为因特网用户提供这个免费的服务。
关于为什么我们要抓取信息和怎样在html和服务器级别上阻止我们的robots抓取你的网站，请转向 技术 。
问题：如果我不想要Alexa抓取我的站点，我应该怎样做？
类别：抓取
答案
Alexa不想抓取任何你想要保持私密的内容。你所要做的便是告诉我们。怎么做？通过使用一个简单的robots.txt文件。Robots.txt文件是网络上最常用的标准，是用来告诉蜘蛛，它们应该处在什么位置，而且告诉crawlers，它们不应该抓取你的站点。所有的主要的crawlers，包括Google，MSN，雅虎，等等上的那些，尊重这些robots.txt文件。在WEB管理员帮助网页上有一个扩展的信息，关于怎样在你的站点上创建一个robots.txt文件。