流量，未必不能压谷歌和百度一头！”
“更重要的，是今后ai训练要很多语料，不搞搜寻引擎不行的。”
听到馀江又提到ai训练，沉予慧就知道他这是要做长远打算了。
于是她慢慢点头。
“搞！多少钱都搞！”
第二天，正式上课。
昨晚他就接到了导员的通知，说系里决定以研代考，让他直接去实验室即可。
于是第二天，馀江悠哉地骑着自行车，早上九点半才晃悠悠地来到实验室。
他可太懂工科实验室了。
一晚上随便熬，上午能十点到那都算早的！
不出他所料，只有闫师兄一人在场。
“早。”
闫师兄二十七八岁的模样，头发稀少，见到馀江先打招呼。
“师兄早。”
馀江坐到老爷机前，按下电源，风扇便疯狂转动。
这十年老拖拉机的动静，他敢打赌，那块赛扬566都应该属于“升级”。
“师兄啊————你们是用的什么计算机呢？”
“奔i1i800。”
见馀江一副生无可恋的表情，闫师兄呵呵笑道：“你来晚了一点，本来有多的，后面老板感觉集群太吃力，就把那台奔3的放机房去了。”
“你们机房没用专门的服务器啊？”
“是啊，全用的台式做集群————所以你知道我们条件多艰苦了吧？”闫师兄摇了摇头：“去年有人毕业证都不要就直接跑路了，实在受不了这玩意。”
馀江：“————是够艰苦的。”
这会计算机已经打开，馀江迅速输入密码，打开arxiv。
现在arxiv上占位性质的论文很多，但也能看到高质量、高数量且最新的论文。
这边，闫宏飞见他快速地用鼠标划拉着篇幅，几乎几分钟就把一篇全英文的论文看完，随后又打开另外一篇后，眼中惊讶顿升。
他这是读论文，还是在看网文？
怀着疑惑，闫宏飞起身，慢慢走到馀江身后。
只见馀江正在阅读一篇关于玻尔兹曼机的论文。
看得出来，馀江看得很认真，但他翻页的速度依旧极快！
甚至闫宏飞都只来得及看清楚一个公式，馀江就又翻页了！
闫宏飞只感觉头皮一阵发麻：“你看完了？”
“恩。”馀江回头，见闫宏飞满脸惊恐，马上意识到对方可能被自己看论文的速度吓到了，连忙解释道：“就随便翻了一下。”
闫宏飞却只是摇了摇头。
他当然愿意相信馀江只是随便翻了一下。
但随便翻的状态，和认真的、快速看的状态，又怎会一样？
他又联想到这家伙恐怖的分数————
沉默了几秒，他又想到昨天喻林的话。
“师弟，你对爬虫了解多少？”
馀江回头：“了解了一点点，怎么？”
“就是即便加了节点，并行抓取也是重复，而且很慢。”闫宏飞望着馀江：“有思路没？”
馀江微微皱眉。
这位师兄好象是博一————
“恩————师兄肯定去重没问题————”馀江一边说着一边观察闫宏飞的表情，“要不我看看日志？”
闫宏飞点头，随即打开日志。
馀江从旁边拉过凳子，迅速查看日志。
爬虫这玩意谁没玩过啊—一他当初写的验证i123链接网站的小工具，如果加一道分析，就可以算爬虫了。
“师兄用的文档列表？”
“也试过hashset去重，但很快就爆内存。”
“url队列问题确实难搞。”馀江点头，安静地思索了片刻。
闫宏飞也耐心地等待，只是眼神略有闪铄。
“hashset在url总量过高的时候确实会占用大量内存，文档列表吃i/0。
”1
闫宏飞就叹了口气，他的办法是平均负载，但终归治标不治本。
馀江转头望着闫宏飞。
“要不试试全局去重？”
闫宏飞一怔：“怎么全局，什么架构？”
“引入一个轻量aster节点，专门维护一个全局bloofilter做去重。”
“位数组大小按我们当前几千万网页规模留足馀量，用几个独立哈希函数，误判率控制在千分之五以内就够用。worker节点本地先快速过滤，新