2010年12 期
标题
BBS舆情系统爬虫模块的研究(19 卷)
英文标题
Research on crawler module of BBS Public Opinion System
摘要
针对重要的舆论平台BBS论坛,提出利用网络爬虫构建适合抓取论坛数据的爬虫模块。通过分析BBS论坛以及比较不同类别爬虫的特点,介绍BBS爬虫模块的工作流程以及需要选择的策略,讨论URL的处理与重定向问题的解决方法,并提出对不同论坛模块定制不同任务的抓取策略。
作者
新闻作者:张 旭,张振江,刘 云
关键字