把火狐伪装成爬虫有什幺好处呢？对经常光顾verycd的朋友们非常有用。可以免登录看贴。首先我们用火狐测试一下：打开这里是不是要求你登录？

继续，设定方法，打开火狐，Ctrl+T新建一个浏览标籤，输入：about:config，打开配置页面，右键点击页面选择“新建→字元串”，在弹出的视窗中输入：general.useragent.override，确定之后，输入：Googlebot/2.1 (+http://www.googlebot.com/bot.html)，继续确定，关闭视窗。

其实上次Matt所透露的仅仅是其中一方面的内容。今天，Matt再次写了一篇非常详细的文章，解释了Google的各种bot是怎样抓取网页的，以及Google最新的BigDaddy在抓取网页方面有什幺新的变化等等，内容非常的精彩，所以和大家分享一下。

首先要介绍的是Google的"crawl caching proxy"（爬行快取代理）。Matt举了一个ISP与用户的例子来说明它。用户上网时，总是先通过ISP获取网页内容，然后ISP就会把用户访问过的网页快取起来备用。比如说，当用户A访问了www.kenwong.cn，那幺中国电信（或网通等）就会把"幻灭的麦克风"传送给用户A，然后将"幻灭的麦克风"快取起来，当用户B在下一秒钟里再访问www.kenwong.cn，那幺中国电信就会把快取里的"幻灭的麦克风"传送给用户B，这样就能节省了频宽。

正如本站之前所报导的那样，Google最新的软体层面的升级（转移至BigDaddy）已经接近完成，因此升级后的Google各方面的能力都将得到加强。这些加强包括了更智慧型化的googlebot爬行、改良的规范性以及更好的收录网页能力。而在Googlebot爬行抓取网页方面，Google也採取了节省频宽的方法。Googlebot也随着BigDaddy的升级而得到了升级。新的Googlebot已经正式支持了gzip编码，所以如果你的网站开启了gzip编码功能，那幺就能节省Googlebot爬行你的网页时所占的频宽。

除了改良的Googlebot外，升级后的Google将会採用上面所说到的crawl caching proxy来抓取网页，以进一步节省频宽。下面是一个示意图，显示了传统的Googlebot是怎样爬行一个网站的：

2014年3月28日，虽然美国国防部高等研究计画署曾经是人形机器人的主要资助机构，但谷歌旗下Google X实验室却拒绝了该机构的资金。