收藏本站
《广西师范大学》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于层叠架构推荐系统的研究与设计

赵腾腾  
【摘要】:随着科技的不断进步,人们的生活质量有了明显的提高,当今社会已经步入大数据与智能化快速发展的阶段,信息爆炸是互联网赋予现代社会的特征,人工智能和大数据技术的普及,促进了推荐系统的快速发展。通过对海量信息的挖掘与分析,可以使推荐更符合人们的选择,打破了传统推荐系统挖掘分析不充分的壁垒。本文在仔细研究国内外关于推荐系统相关算法的基础上,结合当前最新的大数据技术,成功设计出基于分布式,层叠模式,B/S架构,高并发,响应快,精度高的推荐系统。本文利用基于Hadoop生态系统组件,包括HBase,Spark框架,结合Web后端技术,通过层叠架构的混合推荐算法,部署了整个基于海量数据的推荐系统算法与软件工程协同设计方案。设计了基于层叠架构的混合推荐算法工程,整个算法流程分为三个阶段,首先在Spark平台下将基于记忆的物品协同相似度算法和基于TF-IDF的内容相似度算法通过RDD方式构建DAG有向无环图形成第一阶段的相似度模型进行物品的关联获取。接着采用特征编码方式构建用户画像模型和物品画像模型引入分类样本,最后构建DNN深度神经网络分类器,该网络将Embedding作为输入层,多个隐藏层,Softmax作为输出层的二分类模型。基于这种层层过滤挖掘精准数据的算法思想,最终取得不错的推荐效果。设计实现基于HBase的相似度模型和用户画像,物品画像模型存储与查询的功能,包括搭建HDFS分布式文件系统,ZOOKEEPER分布式协同服务配置,HBase服务配置,以及基于MapReduce批量导入数据功能的实现。搭建Web引擎服务,采用Nginx反向代理模式,通过进程管理器Spwan-fcgi对上游服务器FastCGI进行托管,并通过Thrift框架连接HBase与FastCGI,在上游服务引擎内部实现算法模型与请求接发相结合的软件工程设计。并将整个系统通过算法层与系统层分别进行性能测试。
【学位授予单位】:广西师范大学
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:TP391.3

【参考文献】
中国期刊全文数据库 前2条
1 张永霞;王洪波;程时端;;一种基于Hadoop的个性化推荐系统架构[J];新型工业化;2012年08期
2 程苗;陈华平;;基于Hadoop的Web日志挖掘[J];计算机工程;2011年11期
【共引文献】
中国期刊全文数据库 前10条
1 程美玲;黎素珍;;基于Hive数据仓库的在线阅读用户建模与聚类方法[J];电脑知识与技术;2015年32期
2 滕云;;基于云计算技术的数据挖掘平台设计及技术分析[J];电脑知识与技术;2015年30期
3 安政磊;姚文斌;;一种基于用户购买意向的个性化推荐模型[J];软件;2015年12期
4 信怀义;;基于商业银行大数据访问规律的HDFS副本策略优化研究[J];软件;2015年11期
5 苏曦;苏亚妮;霍米会;;云计算环境下海量数据分析系统的设计[J];新技术新工艺;2015年09期
6 孙彦超;李忠刚;;基于Hadoop的高校日志分析应用架构的研究[J];中国教育信息化;2015年16期
7 刘君;;激光解析蛋白质数据结合Hadoop的预处理方法[J];激光杂志;2015年07期
8 曾志浩;姚贝;张琼林;孙琪;;基于Hadoop平台的用户行为挖掘[J];计算技术与自动化;2015年02期
9 田鹏程;张莉梅;杨俊;;就业信息服务平台数据隐私保护方案设计[J];软件;2015年04期
10 张小波;付达杰;;网络信息资源个性化推荐中隐私保护的研究[J];软件;2015年04期
【二级参考文献】
中国期刊全文数据库 前6条
1 薛胜军;刘寅;;基于Hadoop的气象信息数据仓库建立与测试[J];计算机测量与控制;2012年04期
2 汪静;印鉴;;一种优化的Item-based协同过滤推荐算法[J];小型微型计算机系统;2010年12期
3 郭本俊;王鹏;陈高云;黄健;;基于MPI的云计算模型[J];计算机工程;2009年24期
4 周勇;刘锋;;基于并行遗传算法的规则发现研究[J];计算机技术与发展;2008年08期
5 王文平;刘希玉;韩杰;;基于并行遗传算法的关联规则挖掘[J];山东师范大学学报(自然科学版);2006年04期
6 邢东山,沈钧毅,宋擒豹;从Web日志中挖掘用户浏览偏爱路径[J];计算机学报;2003年11期
【相似文献】
中国期刊全文数据库 前10条
1 刘天啸;;大数据背景下新闻推荐系统中的问题以及解决对策[J];科技传播;2019年13期
2 刘强;;推荐系统的商业价值[J];软件和集成电路;2019年04期
3 王月星;;国内旅游推荐系统研究进展[J];商场现代化;2017年10期
4 常亮;曹玉婷;孙文平;张伟涛;陈君同;;旅游推荐系统研究综述[J];计算机科学;2017年10期
5 王毅;;网络推荐系统的三大挑战——从用户体验出发[J];清华管理评论;2013年06期
6 王海明;;基于大数据下电子商务商品推荐系统的分析[J];环球市场信息导报;2017年27期
7 ;电商推荐系统进阶[J];IT经理世界;2013年11期
8 王霞;;电子商务推荐系统评述[J];福建电脑;2006年08期
9 傅孟如;姜素兰;闵娅萍;;VAX—11/750机学生测评、推荐系统的设计与应用[J];计算技术与自动化;1989年03期
10 张佳威;;美团推荐系统实证系统[J];农家参谋;2018年11期
中国重要会议论文全文数据库 前10条
1 张燕;李燕萍;;基于内容分析和点击率记录的混合音乐推荐系统[A];2009年通信理论与信号处理学术年会论文集[C];2009年
2 高梦晨;;推荐系统用户感知调研[A];工业设计研究(第六辑)[C];2018年
3 李成;胡文丽;;推荐系统体验模型探索——以视频推荐为例[A];工业设计研究(第六辑)[C];2018年
4 李成;冯青青;;推荐系统准确度衡量方案——引入权重概念[A];工业设计研究(第五辑)[C];2017年
5 王晓光;施玉海;尹亚光;;面向广电的节目推荐系统研究[A];中国新闻技术工作者联合会2017年学术年会论文集(学术论文篇)[C];2017年
6 周小田;王宏志;郭翔宇;胡筱;董志鑫;李建中;高宏;;基于知识库的互联网商品信息分类与推荐系统[A];第29届中国数据库学术会议论文集(B辑)(NDBC2012)[C];2012年
7 汤娟梅;唐岭;;个性化英语阅读文章推荐系统的设计[A];计算机与教育:理论、实践与创新——全国计算机辅助教育学会第十四届学术年会论文集[C];2010年
8 王雪;董爱华;吴怡之;;基于RFID技术的智能服装推荐系统设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年
9 张玉连;张波;张敏;;改进的个性化信息推荐系统的设计与实现[A];2005年全国理论计算机科学学术年会论文集[C];2005年
10 王君;许洁萍;;层次音乐推荐系统的研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
中国重要报纸全文数据库 前5条
1 记者 周源;知意图发布推荐系统Etu Recommender[N];网络世界;2012年
2 本报记者 邹大斌;大数据:电商新武器[N];计算机世界;2012年
3 本报记者 冯卫东;网络导购:找出你的最爱[N];科技日报;2007年
4 本报记者 邱燕娜;精准推荐 一客一市场[N];中国计算机报;2012年
5 张秋明;用数据是新技能[N];福州日报;2015年
中国博士学位论文全文数据库 前10条
1 王梦晗;推荐系统中数据缺失问题的研究[D];浙江大学;2019年
2 张亮;网络推荐系统中基于时间信息的新颖性研究[D];厦门大学;2017年
3 夏彬;基于位置信息社交网络的推荐系统研究[D];南京理工大学;2018年
4 蒋伟;推荐系统若干关键技术研究[D];电子科技大学;2018年
5 练建勋;基于多样化内容数据的个性化推荐系统[D];中国科学技术大学;2018年
6 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年
7 王宏宇;商务推荐系统的设计研究[D];中国科学技术大学;2007年
8 颜端武;面向知识服务的智能推荐系统研究[D];南京理工大学;2007年
9 刘龙;一个能实现个性化实时路径推荐服务的推荐系统框架[D];中国科学技术大学;2014年
10 杨东辉;基于情感相似度的社会化推荐系统研究[D];哈尔滨工业大学;2014年
中国硕士学位论文全文数据库 前10条
1 于洋;商品推荐系统中冷启动问题的研究及实现[D];天津理工大学;2019年
2 何燚宁;个性化新闻推荐系统中算法的把关行为比较研究[D];郑州大学;2019年
3 刘伟;基于语义分析的农业新技术推荐系统的设计与实现[D];中国农业科学院;2019年
4 李博;基于项目特征和排序学习的新闻推荐系统设计与实现[D];北京邮电大学;2019年
5 王豪;个性化新闻推荐系统的设计与实现[D];北京邮电大学;2019年
6 冯健飞;基于深度神经网络的推荐系统排序模型研究[D];浙江大学;2019年
7 张振宇;基于对偶学习的top-n推荐系统的设计与实现[D];北京邮电大学;2019年
8 黄丽萍;基于新增用户和评分的推荐系统研究[D];南昌航空大学;2019年
9 陶健;基于Spark的视频推荐系统研究与实现[D];重庆师范大学;2019年
10 赵腾腾;基于层叠架构推荐系统的研究与设计[D];广西师范大学;2019年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026


日本高清免费一本视频,一本道久在线88综合,日本一本道手机在线dvd,东京热一本道色综合网,一本首久久综合久久爱,