存档 | 文章标签 ‘蜘蛛’
-
说说浏览器和浏览器内核
首先说明一下,我不懂技术,也不玩理论,所以说得有不对的地方您请指正,如果您要一些比较正确的信息,也请您绕道,我只是说说我的看法和闲话。
写这个的原因还是因为该死的蜘蛛,呵,为了一个小蜘蛛,我今天写了三post了。看了一些抓回来的测试记录,突然有个想法来判断是否蜘蛛,由这个问题才引出的想说一说浏览器和浏览器内核。25 次阅读 | 9 条评论2009年9月25日 | 归档于 关注网络 -
还是蜘蛛
难怪互联网叫互联网,抓取程序叫蜘蛛,I真是服了。
看了一下测试记录,如下: —————————————————— 122.215.200.107 jp BlogPeople Java/1.4.2_04 —————————————————— —————————————————— 67.202.60.246 us 华盛顿州金县西雅图市亚马逊公司 Jakarta Commons-HttpClient/3.0 [...]25 次阅读 | 4 条评论2009年9月25日 | 归档于 关注网络标签: 蜘蛛 -
统计插件的测试记录
昨天把自己做的统计插件放在博里进行测试,发现很多莫名的直接访问,其中包括google、微软、yahoo和一个来自北京的IP,突然意识到,这是搜索引擎蜘蛛爬来抓网页了,晕倒,看来好好的测试还是有很必要的,做插件时没想到这个问题,于是使用下面一句代码屏蔽了蜘蛛抓取记录。
27 次阅读 | 7 条评论2009年9月22日 | 归档于 关注网络
最新评论