基于Nutch的多源社交媒体情报采集系统

doi:10.19722/j.cnki.1008-7729.2019.0064

北京邮电大学学报(社科版) ›› 2019, Vol. 21 ›› Issue (5): 85-92.doi: 10.19722/j.cnki.1008-7729.2019.0064

基于Nutch的多源社交媒体情报采集系统

武汉理工大学经济学院,湖北武汉430070

出版日期:2019-10-31
基金资助:
教育部人文社会科学研究规划基金项目（17YJA870006）；湖北省自然科学基金项目（2018CFB564）

Nutch-based Multi-source Social Media Intelligence Collection System

School of Economics, Wuhan University of Technology, Wuhan 430070, China

Online:2019-10-31

摘要/Abstract

摘要： 以新闻、论坛、贴吧、微博等互联网社交媒体平台为研究对象，在对各平台进行领域建模、情报采集流程设计以及采集内容解析的基础上，设计了基于网络抓取开源工具Nutch的通用采集系统。根据各平台特点，分别将分类排名、分块解析、模拟登录方法应用于新闻、论坛贴吧、微博的采集工作中，以提高系统的通用性和性价比，实现对多源社交媒体情报的高效采集。

关键词: , Nutch, 社交媒体情报, 多源情报采集, 内容解析, 模拟登录

Abstract: Taking Internet social media platforms such as news websites, BBS, post bars, microblogs, etc. as the research objects, and based on the domain modeling, intelligence collection process design and content analysis of each platform, an intelligence collection system suitable for the whole social media platform is designed based on open source web crawler Nutch. According to the characteristics of each platform, methods of classification ranking, block analysis and simulated login are applied to the collection of news, BBS, post bars, and microblogs, which improves versatility and cost performance of the system, and achieves efficient collection of multi-source social media intelligence.

Key words: Nutch, social media intelligence, multi-source intelligence collection, content analysis, simulated login

中图分类号:

TP391.3
G206

傅魁，覃桂双. 基于Nutch的多源社交媒体情报采集系统[J]. 北京邮电大学学报(社科版), 2019, 21(5): 85-92.

FU Kui，QIN Gui-shuang. Nutch-based Multi-source Social Media Intelligence Collection System[J]. JOURNAL OF BEIJING UNIVERSITY OF POSTS AND TELECOM, 2019, 21(5): 85-92.

参考文献

［1］中国互联网络信息中心.第42次中国互联网络发展状况统计报告［DB/OL］.(2018-08-20)［2019-03-10］.http://www.cnnic.cn/hlwfzyj/hlwxzbg/hlwtjbg/201808/P020180820630889299840.pdf.
［2］ DUTOT V, MOSCONI E. Social media and business intelligence: defining and understanding social media intelligence［J］.Journal of Decision System, 2016, 25（3）：191-192.
［3］胡雅萍, 洪方. 社交媒体情报研究［J］.情报杂志, 2018,37（3）：15-21.
［4］胡建洪, 徐建, 董克源, 等. 移动新闻自适应采集方法研究［J］.计算机应用研究, 2018, 35（9）：2798-2801.
［5］ DAM J W V, VELDEN M V D. Online profiling and clustering of Facebook users［J］.Decision Support Systems, 2015, 70（6）：60-72.
［6］陈迪, 代艳君, 王志锋. 论坛主题挖掘研究综述［J］.计算机工程与应用, 2017, 53（16）：36-44.
［7］于卫红. 基于R+Hadoop框架的微信舆情热点挖掘［J］.情报杂志, 2017, 36（2）：97-101.
［8］ JRGENS P, JUNGHERR A. A tutorial for using Twitter data in the social sciences: data collection, preparation, and analysis［J］.Social Science Electronic Publishing, 2016, 12（3-4）：603-607.
［9］杨爱东, 刘东苏. 基于Hadoop的微博舆情监控系统模型研究［J］.现代图书情报技术, 2016, 32（5）：56-63.
［10］ FRAMPTON M. Collecting data with Nutch and Solr［M］// Big Data Made Easy.Berkeley: Apress, 2015:50-58.
［11］王景中, 邱铜相. 基于TF-IDF改进算法的聚焦主题网络爬虫［J］.计算机应用, 2015, 35（10）：2901-2904.
［12］ ZHENG Y, PURVER M. Predicting emotion labels for Chinese microblog texts［M］// Advances in Social Media Analysis. Cham:Springer International Publishing, 2015：129-149.
［13］徐雁飞, 刘渊, 吴文鹏. 社交网络数据采集技术研究与应用［J］.计算机科学, 2017, 44（1）：277-282.

[1]	田祖海, 吴雅静. 自由贸易协定对中国制造业出口的影响研究：基于“一带一路”沿线国家数[J]. 北京邮电大学学报(社会科学版), 2020, 22(4): 17-26.
[2]	刘树林, 张晟嘉. 营商环境评价体系的构建与研究——基于熵权TOPSIS法[J]. 北京邮电大学学报(社会科学版), 2020, 22(4): 27-36.
[3]	齐佳音, 胡帅波, 张亚, . 人工智能聊天机器人在数字营销中的应用：文献综述[J]. 北京邮电大学学报(社会科学版), 2020, 22(4): 59-70.
[4]	胡桃, 郑君臣. 高校电子商务专业核心课程教学评价体系探究[J]. 北京邮电大学学报(社会科学版), 2020, 22(4): 103-111.
[5]	黄逸珺，靳晓晶，李琳. 欠发达地区义务教育应用MOOC的学习意愿影响因素研究[J]. 北京邮电大学学报(社科版), 2020, 22(1): 87-97.
[6]	熊莺,徐静,李颖臻. null[J]. 北京邮电大学学报(社科版), 2019, 21(6): 1-10.
[7]	魏龙，杨晖. 服务外包对中国制造业出口复杂度影响的研究[J]. 北京邮电大学学报(社科版), 2019, 21(6): 46-57.
[8]	彭若弘，苏玉苗. 创新补贴、税收优惠与高新技术产业研发产出[J]. 北京邮电大学学报(社科版), 2019, 21(6): 77-89.
[9]	张爱华，陈超雨. 基于文本分析的中国5G产业发展研究——市场主体视角[J]. 北京邮电大学学报(社科版), 2019, 21(6): 90-102.
[10]	徐俊杰，吴敏. 快递自取点服务质量量表的开发与验证[J]. 北京邮电大学学报(社科版), 2019, 21(6): 103-111.
[11]	陈慧1，杨翠莹1，张涵2. 情绪视角下员工越轨创新行为研究：越轨钦佩的调节作用[J]. 北京邮电大学学报(社科版), 2019, 21(5): 75-84.
[12]	石川，马铭君，胡琳梅. 基于用户心理的网络舆情指标体系构建研究[J]. 北京邮电大学学报(社科版), 2019, 21(5): 93-99.
[13]	杨天剑，左欣. 电信供应链的采购期权契约设计与协调机制研究[J]. 北京邮电大学学报(社科版), 2019, 21(3): 10-15.
[14]	孙湘湘，周小亮. 风险投资的地区差异及其影响因素——以广东省为例[J]. 北京邮电大学学报(社科版), 2019, 21(3): 25-32.
[15]	张旺，刘平峰，周鑫. 基于技术成就指数城市创新能力系统协同度研究——以北京市为例[J]. 北京邮电大学学报(社科版), 2019, 21(3): 62-70.

基于Nutch的多源社交媒体情报采集系统

Nutch-based Multi-source Social Media Intelligence Collection System

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价