提取的url再批量通过tcp发给aster确认。”
“关键是per—hostbackqueues：aster按主机名hash分桶，每个主机维护一个fifo队列和一个下次可抓时间————”
“————aster本身用轻量内存结构，也没什么瓶颈。”
馀江一边思索，一边慢慢地给出方案。
他同时也感慨。
这些在后世几乎算是搜寻引擎入门教科书一般的解决方案，在现在却是拦路虎一般的存在。
闫宏飞认真地听着，最后猛地望向馀江。
“你之前干过？”
闫宏飞死死地盯着馀江。
他完全不信，一个没有干过搜寻引擎的人，会在这么短时间内就给出近乎完整的解决方案！
馀江轻轻咳了咳：“玩过爬虫，也玩过分布式————但分布式爬虫没玩过。”
“我晕！你上哪里玩的？”
馀江一阵无语。
知道不把这帮师兄们震住，怕是每天都要问个不休了。
“师兄，非得要我说，我有个非常有钱的姐，她手底下有上百台p川志强服务器吗？”
“靠！”
闫宏飞猛地起身。
这时，徐飞和彭波也正好进门。
“你俩来得正好！赶紧把他按住！”
二人同时一惊。
“闫哥你要干啥？”
闫宏飞是一愣，似乎也不知道自己起身干啥。
但他很快转头望向馀江。
“师弟，能把你姐介绍给师兄吗？”
👉&128073; 当前浏览器转码失败：请退出“阅读模式”显示完整内容，返回“原网页”。