免费asp公司网站模板建国外网站

张

张建站

2026/4/6 13:41:44

10分钟阅读

免费asp公司网站模板,建国外网站,wordpress 扁平化,百度百科创建从零到一#xff1a;使用Hadoop构建高并发推荐系统关键词#xff1a;Hadoop、推荐系统、协同过滤、高并发、分布式计算、MapReduce、HDFS摘要#xff1a;本文将带你从0到1搭建一个基于Hadoop的高并发推荐系统。我们会用“超市购物”的生活案例类比复杂技术概念#xff0c;从…从零到一使用Hadoop构建高并发推荐系统关键词Hadoop、推荐系统、协同过滤、高并发、分布式计算、MapReduce、HDFS摘要本文将带你从0到1搭建一个基于Hadoop的高并发推荐系统。我们会用“超市购物”的生活案例类比复杂技术概念从推荐系统的核心原理讲到Hadoop分布式计算的落地实践最后通过完整代码示例演示如何用Hadoop处理亿级用户行为数据生成精准推荐结果。即使你是大数据领域的新手也能轻松理解每个技术环节的逻辑背景介绍目的和范围在电商如淘宝“猜你喜欢”、视频平台如抖音“推荐流”、音乐APP如网易云“每日推荐”中推荐系统是核心的“流量发动机”。当用户量达到百万甚至亿级时传统单机系统无法处理海量数据的存储、计算和实时推荐需求。本文将聚焦离线高并发推荐场景如每日凌晨更新用户推荐列表讲解如何用Hadoop分布式架构解决“亿级用户行为数据→推荐结果生成”的全流程问题。预期读者对推荐系统感兴趣的初级开发者无需Hadoop或大数据经验想了解分布式计算如何落地业务场景的技术爱好者需要优化现有推荐系统性能的中级工程师文档结构概述本文将按照“概念→原理→实战”的逻辑展开先通过生活案例理解推荐系统和Hadoop的核心概念再拆解Hadoop如何支撑推荐系统的分布式计算最后用完整代码演示从数据清洗到推荐结果生成的全流程。术语表术语解释小学生能懂版推荐系统像超市的“猜你想买”小助手根据你之前买过的牛奶推荐搭配的面包HDFS分布式文件系统像图书馆的“分书架”存储把一本厚书拆成多部分分别放在不同书架服务器上MapReduce分布式计算框架像工厂的“流水线分工”把复杂任务拆成“分任务”Map和“合并任务”Reduce由多台机器协作完成协同过滤推荐系统的一种方法像“找相似顾客”如果小明和小红都买了牛奶小明还买了面包就给小红推荐面包高并发同时处理很多用户请求像超市高峰期收银台需要多台机器同时工作避免排队核心概念与联系推荐系统 vs Hadoop像超市和仓库的配合故事引入小明的超市推荐难题小明开了一家连锁超市有100万会员。他发现一个问题顾客逛超市时经常找不到“想买但没注意到的商品”比如买了牛奶的人可能需要面包。小明想做一个“购物车推荐屏”在顾客结账时显示“根据您的购物车推荐商品”。但问题来了每天有10万笔订单数据相当于10万条“顾客买了什么”的记录单机电脑处理这些数据要8小时根本来不及在第二天早上更新推荐数据量越来越大明年可能达到每天100万笔订单这时候小明的技术顾问说“我们可以用Hadoop搭建一个‘分布式推荐工厂’——把数据存在很多台电脑服务器上用很多电脑一起算推荐结果”核心概念解释像给小学生讲故事核心概念一推荐系统的“灵魂”——协同过滤协同过滤Collaborative Filtering是推荐系统最常用的方法它的思路特别像“找相似的人”。比如顾客A买了牛奶、面包、鸡蛋顾客B买了牛奶、面包顾客C买了牛奶、鸡蛋如果我们发现“买了牛奶和面包的人90%都会买鸡蛋”那么当新顾客D买了牛奶和面包时我们就推荐鸡蛋。类比生活就像你和同桌都喜欢看《熊出没》同桌还喜欢看《小猪佩奇》那老师可能会推荐你看《小猪佩奇》。核心概念二Hadoop的“地基”——HDFS分布式存储HDFSHadoop Distributed File System是Hadoop的存储模块它的作用是把海量数据“拆成小块”存到多台电脑上。比如超市有100万条订单数据每条数据是“顾客ID商品ID购买时间”HDFS会把这100万条数据分成10份每份10万条分别存在10台电脑上当需要计算时这10台电脑可以同时工作就像10个人一起搬砖比1个人快10倍类比生活就像你有一本1000页的《百科全书》可以拆成10本100页的小册子分别放在10个同学的书包里大家一起查资料更快。核心概念三Hadoop的“大脑”——MapReduce计算框架MapReduce是Hadoop的计算模块它把复杂任务拆成两个阶段Map阶段每台电脑节点处理自己存储的数据生成“中间结果”比如统计每个顾客买了哪些商品Reduce阶段把所有中间结果汇总计算最终结果比如找出“买了牛奶的人还买了什么”类比生活就像班级大扫除老师先让每个小组Map整理自己的课桌处理自己的数据然后全班一起Reduce把所有垃圾集中到垃圾桶汇总结果。核心概念之间的关系推荐系统的“流水线”推荐系统要处理海量数据必须依赖Hadoop的“存储计算”组合。三者关系就像“超市推荐流水线”HDFS存储相当于超市的“大仓库”存着所有顾客的购物记录原始数据。MapReduce计算相当于“流水线工人”把仓库里的购物记录数据加工成“推荐规则”比如“买A的人90%买B”。协同过滤相当于“推荐规则”本身告诉我们“根据哪些顾客的行为给当前顾客推荐什么”。具体关系拆解HDFS与MapReduceHDFS提供“原材料”数据MapReduce是“加工机器”没有原材料机器空转没有机器原材料无法变成产品。MapReduce与协同过滤MapReduce是实现协同过滤的“工具”。比如计算“顾客相似度”需要遍历所有顾客的购买记录这个遍历过程由MapReduce的分布式计算完成。HDFS与协同过滤协同过滤需要“历史数据”作为依据HDFS负责存储这些历史数据可能是TB级的海量数据。核心概念原理和架构的文本示意图推荐系统架构Hadoop支撑版 -------------------------- 用户行为数据如购物记录 → HDFS存储分布式存储 → MapReduce计算协同过滤模型训练 → 推荐结果如“用户A推荐商品B”Mermaid 流程图用户行为数据HDFS分布式存储Map阶段拆分计算任务各节点并行处理数据Reduce阶段汇总计算结果协同过滤模型生成推荐规则推荐结果输出核心算法原理协同过滤的数学模型与MapReduce实现推荐系统的核心是“计算用户或商品的相似度”最常用的是基于物品的协同过滤Item-based Collaborative Filtering。它的逻辑是“如果很多用户同时买了商品A和商品B那么A和B是相似的买了A的用户应该推荐B”。数学模型余弦相似度计算物品相似度两个物品的相似度可以用余弦相似度衡量公式如下相似度(A,B)∑u(RuA×RuB)∑uRuA2×∑uRuB2 \text{相似度}(A,B) \frac{\sum_{u}(R_{uA} \times R_{uB})}{\sqrt{\sum_{u}R_{uA}^2} \times \sqrt{\sum_{u}R_{uB}^2}}相似度(A,B)∑uRuA2×∑uRuB2∑u(RuA×RuB)其中( R_{uA} ) 表示用户u对商品A的评分或购买次数这里简化为“买了1没买0”分子是“同时买了A和B的用户数”分母是“A的购买用户数平方根 × B的购买用户数平方根”举个例子用户1买了A和B → ( R_{1A}1, R_{1B}1 )用户2买了A和C → ( R_{2A}1, R_{2B}0 )用户3买了A和B → ( R_{3A}1, R_{3B}1 )计算A和B的相似度分子 (1×1) (1×0) (1×1) 2分母 √(1²1²1²) × √(1²0²1²) √3 × √2 ≈ 2.45相似度 ≈ 2 / 2.45 ≈ 0.81接近1说明A和B很相似MapReduce如何实现协同过滤我们需要用MapReduce完成3个关键步骤数据清洗把原始数据如“用户ID,商品ID”转换成“用户→商品列表”比如用户1→[A,B,C]。计算共现矩阵统计每对商品被同一用户购买的次数比如A和B被用户1、用户3购买共现次数2。计算相似度用余弦相似度公式为每对商品生成相似度分数。步骤1数据清洗Map阶段输入数据HDFS中的原始数据用户1,商品A 用户1,商品B 用户2,商品A 用户2,商品C 用户3,商品A 用户3,商品BMap任务逻辑每行数据是“用户ID,商品ID”Map函数需要把同一用户的所有商品聚合到一起。输出键值对用户ID → 商品ID比如用户1 → 商品A用户1 → 商品B。Reducer任务逻辑按用户ID分组把同一用户的所有商品合并成列表。输出键值对用户ID → [商品A, 商品B, ...]比如用户1 → [商品A, 商品B]。步骤2计算共现矩阵Map阶段输入数据步骤1的输出用户1 → [商品A, 商品B] 用户2 → [商品A, 商品C] 用户3 → [商品A, 商品B]Map任务逻辑对每个用户的商品列表生成所有可能的商品对比如用户1的[A,B]生成(A,A)、(A,B)、(B,A)、(B,B)。输出键值对(商品X,商品Y) → 1每个商品对计数1次。Reducer任务逻辑按商品对分组统计每个商品对的共现次数比如(A,B)出现2次总次数2。输出键值对(商品X,商品Y) → 共现次数比如(商品A,商品B) → 2。步骤3计算相似度MapReduce输入数据步骤2的输出(商品A,商品A) → 3用户1、用户2、用户3都买了A (商品A,商品B) → 2用户1、用户3买了A和B (商品A,商品C) → 1用户2买了A和C (商品B,商品B) → 2用户1、用户3买了B ...Map任务逻辑提取每个商品X的“自共现次数”即X被多少用户购买对应余弦公式的分母。输出键值对商品X → (商品Y, 共现次数, 自共现次数)比如商品A → (商品B, 2, 3)。Reducer任务逻辑对每个商品X遍历所有关联的商品Y用余弦公式计算相似度。输出键值对(商品X,商品Y) → 相似度分数比如(商品A,商品B) → 0.81。项目实战用Hadoop实现推荐系统附完整代码开发环境搭建我们需要搭建一个Hadoop集群这里用3台虚拟机模拟配置4核8G内存即可。步骤1安装Java 8Hadoop依赖Java。步骤2下载Hadoop 3.3.6稳定版本解压到/opt/hadoop。步骤3配置core-site.xml设置HDFS的 namenode地址configurationpropertynamefs.defaultFS/namevaluehdfs://master:9000/value/property/configuration步骤4启动Hadoop集群start-dfs.sh# 启动HDFSstart-yarn.sh# 启动YARN资源管理源代码详细实现Python Hadoop StreamingHadoop支持用Python编写MapReduce任务通过Hadoop Streaming。我们以“计算共现矩阵”为例演示代码实现。步骤1数据清洗MapReduce任务1Mapper代码mapper1.pyimportsysforlineinsys.stdin:user,itemline.strip().split(,)# 输入格式用户,商品print(f{user}\t{item})# 输出用户\t商品Reducer代码reducer1.pyimportsysfromitertoolsimportgroupby current_userNoneitems[]forlineinsys.stdin:user,itemline.strip().split(\t)ifuser!current_user:ifcurrent_user:print(f{current_user}\t{,.join(items)})# 输出用户\t商品1,商品2...current_useruser items[item]else:items.append(item)# 处理最后一个用户ifcurrent_user:print(f{current_user}\t{,.join(items)})步骤2计算共现矩阵MapReduce任务2Mapper代码mapper2.pyimportsysfromitertoolsimportcombinationsforlineinsys.stdin:user,items_strline.strip().split(\t)itemsitems_str.split(,)# 生成所有商品对包括自身forxinitems:foryinitems:print(f({x},{y})\t1)# 输出(商品X,商品Y)\t1Reducer代码reducer2.pyimportsys current_pairNonecount0forlineinsys.stdin:pair,numline.strip().split(\t)ifpair!current_pair:ifcurrent_pair:print(f{current_pair}\t{count})# 输出(商品X,商品Y)\t总次数current_pairpair countint(num)else:countint(num)# 处理最后一个商品对ifcurrent_pair:print(f{current_pair}\t{count})代码解读与分析mapper1.py读取原始数据按用户分组输出“用户→商品”的中间结果。reducer1.py将同一用户的商品合并成列表如“用户1→A,B”为后续生成商品对做准备。mapper2.py对每个用户的商品列表生成所有可能的商品对包括重复的如(A,A)、(A,B)每个商品对计数1次。reducer2.py统计每个商品对的总共现次数如(A,B)被用户1和用户3购买总次数2。实际应用场景电商“猜你喜欢”数据来源用户浏览、点击、购买、加购记录存储在HDFS。Hadoop处理用MapReduce计算商品相似度如“买了手机的人90%买了手机壳”。输出结果用户打开APP时根据其历史购买的手机推荐手机壳、充电器等相似商品。视频平台“推荐视频”数据来源用户观看时长、完播率、点赞记录。Hadoop处理计算视频相似度如“看了《流浪地球》的用户80%看了《星际穿越》”。输出结果用户看完《流浪地球》后推荐《星际穿越》。高并发如何支撑Hadoop的分布式特性让计算任务可以并行在数百台机器上执行。例如处理1亿条用户行为数据单机需要10小时Hadoop集群100台机器只需6分钟理论值实际受网络延迟等因素影响。工具和资源推荐工具/资源用途链接Hadoop官方文档学习HDFS、MapReduce、YARN的详细配置和APIhttps://hadoop.apache.org/MahoutApache的机器学习库内置协同过滤等推荐算法的Hadoop实现https://mahout.apache.org/Hive用SQL语法操作HDFS数据适合快速查询用户行为数据https://hive.apache.org/《推荐系统实践》推荐系统领域的经典书籍涵盖协同过滤、矩阵分解等算法豆瓣链接https://book.douban.com/subject/10769749/未来发展趋势与挑战趋势1实时推荐的需求Hadoop擅长处理离线任务如每日更新推荐但用户希望“刚买了牛奶立刻看到面包推荐”。未来Hadoop可能与实时计算框架如Flink、Spark Streaming结合实现“离线实时”混合推荐。趋势2深度学习的融入传统协同过滤依赖“用户-商品”共现关系而深度学习如Wide Deep模型能融合用户年龄、商品类别等更多特征。Hadoop需要优化分布式训练能力支持深度学习模型的高效训练。挑战数据稀疏性很多用户只购买少量商品如“用户只买了1件商品”导致共现矩阵稀疏很多商品对的共现次数为0。如何处理稀疏数据提升推荐准确性是未来的关键问题。总结学到了什么核心概念回顾推荐系统根据用户历史行为推荐可能感兴趣的商品/内容。HDFS分布式存储海量数据像“分书架”存储大书。MapReduce分布式计算框架像“流水线分工”处理复杂任务。协同过滤通过“找相似用户/商品”生成推荐像“同桌喜欢的我可能也喜欢”。概念关系回顾HDFS为推荐系统提供“数据仓库”MapReduce是“计算工厂”协同过滤是“推荐规则”。三者协作完成“海量数据→精准推荐”的全流程。思考题动动小脑筋如果你是超市的技术负责人用户“只买了1件商品”时如何用Hadoop生成推荐提示考虑“热门商品推荐”或“关联商品扩展”Hadoop处理实时推荐如用户刚下单就推荐有什么不足如何改进提示对比离线计算和实时计算的特点附录常见问题与解答QHadoop搭建集群太复杂能用单机版吗A可以Hadoop支持“伪分布式模式”在1台机器模拟集群适合学习和测试。修改core-site.xml的fs.defaultFS为hdfs://localhost:9000即可。Q数据倾斜某台机器处理的数据量远大于其他机器怎么解决A可以在Map阶段对键添加随机前缀如将“商品A”改为“商品A_1”“商品A_2”让数据分布更均匀Reduce阶段再去掉前缀。Q推荐结果不准可能是什么原因A可能是数据量不足用户行为记录太少、相似度算法选择不当如用余弦相似度但数据有评分偏差、或没有考虑时间因素旧数据影响新推荐。扩展阅读参考资料《Hadoop权威指南第4版》—— Tom WhiteHadoop核心开发者著作《深度学习推荐系统》—— 王喆阿里推荐算法专家经验总结Apache Hadoop官方维基https://cwiki.apache.org/confluence/display/HADOOP/Home