Google怎样找到一些深藏的网站

killl

Google怎样找到一些深藏的网站
Brian Mingus发了这个给我：
一些网站管理员似乎很确信Google用Google Toolbar监视他们，通过尝试随机的目录等方式来挖掘网站深处的内容。我最近在试着让一个服务器只在一小部分人群里使用，但还是被Google通过一种方式发现了。也许你知道这种方式——我想它是不明显的。
问题跟http有关，而且上百万人在写他们的网志。通过Google下面这些词来找网志：
“Generated by Webalizer”
“Created by awstats”
如果你链接到了某人的网站，他们能通过搜索他们的日志来发现。你可能不关心这些，只要他们没有链接到你。但在我这个事件里，他们不小心通过公开的网志链接到了我，然后Google的蜘蛛爬了他们的网志。游戏结束——我被发现了！
所以如果你想要做我所做的，你必须告诉人们只能插入平文本的URL*。因为在某个人在你的网站上点击URL的一刹那，你有可能已经暴露了你自己。
*当然你也可以用密码保护你的网站。
原文：
How Google Finds Out About Some Deep Websites