淘宝网站制作孝昌县专注网站建设代理

张

张建站

2026/4/8 18:49:31

10分钟阅读

淘宝网站制作,孝昌县专注网站建设代理,建设信用卡分期购物网站,创意礼品做的比较好的网站推荐系统正经历从判别式检索排序到生成式序列预测的根本性变革。传统工业推荐系统遵循召回→粗排→精排→重排的多阶段流水线#xff0c;每个阶段独立优化#xff0c;存在严重的信息损失和优化目标不一致问题。而生成式推荐#xff08;…推荐系统正经历从判别式检索排序到生成式序列预测的根本性变革。传统工业推荐系统遵循召回→粗排→精排→重排的多阶段流水线每个阶段独立优化存在严重的信息损失和优化目标不一致问题。而生成式推荐Generative Recommendation, GR将推荐重新定义为序列生成任务——通过预测用户下一个可能交互的物品Token实现端到端的推荐生成。本文将系统梳理生成式推荐的技术架构、核心范式、关键挑战与前沿进展为研究者和工程师提供全面的技术参考。一、生成式推荐的技术基础1.1 从判别式到生成式的范式对比维度传统判别式推荐生成式推荐核心任务判别用户-物品匹配概率生成下一个物品的标识符物品表示密集向量Embedding离散Token序列Semantic ID优化目标点击率CTR、转化率CVR预测下一Token预测Next-Token Prediction架构特点多阶段级联召回/排序分离端到端单阶段生成优势精准、可解释、工业成熟简化流水线、统一优化、可扩展性强挑战信息损失、阶段目标不一致计算开销、冷启动、多样性1.2 生成式推荐的数学形式化生成式推荐将用户历史交互序列建模为离散Token序列通过自回归模型预测未来P(it1∣u)P(SIDt1∣SID1,SID2,...,SIDt;θ) P(i_{t1} | u) P(\text{SID}_{t1} | \text{SID}_1, \text{SID}_2, ..., \text{SID}_t; \theta)P(it1∣u)P(SIDt1∣SID1,SID2,...,SIDt;θ)其中SIDi\text{SID}_iSIDi表示第iii个物品的语义标识符Semantic IDθ\thetaθ为生成模型参数通常为Transformer架构输出为候选物品的概率分布通过解码策略Beam Search/Sampling生成Top-K推荐列表二、两大技术范式LLM-based vs SID-based当前生成式推荐主要分为两大技术路线各有优劣且呈现融合趋势。2.1 LLM-based生成式推荐技术特征直接利用大语言模型如GPT-4、Qwen、LLaMA的生成能力通过自然语言提示或指令微调生成推荐。核心优势可解释性推理基于Chain-of-ThoughtCoT提供透明的推荐逻辑如用户喜欢科幻电影→《星际穿越》涉及时间旅行→推荐《盗梦空间》世界知识利用LLM预训练积累的常识知识支持零样本Zero-shot跨域推荐内容理解深度可直接处理文本描述、用户评论等非结构化信息关键局限计算开销巨大自回归生成的推理延迟高通常500ms难以满足工业级实时推荐需求100ms协同信号缺失LLM难以有效建模稀疏的ID类协同过滤信号导致对历史交互模式的捕捉不足物品数量限制直接生成物品名称或ID时输出空间受限于词表大小难以处理百万级物品库适用场景知识密集型探索场景如AI搜、跨域问答、可解释性要求高的推荐如金融、医疗2.2 SID-based生成式推荐技术特征将物品映射为离散的语义标识符Semantic IDs通过生成模型如Transformer自回归预测SID序列。2.2.1 核心技术RQ-VAE量化Residual Quantized Variational AutoEncoderRQ-VAE是SID构造的核心物品多模态特征文本/图像/协同信号 ↓ RQ-VAE编码器 ↓ 层次化离散量化m层码本 ↓ Semantic ID: [c1, c2, ..., cm]每层一个码本向量索引关键参数码本层级数mmm通常为4-8层平衡表示能力与序列长度码本大小ttt每层码本包含ttt个向量通常t∈[256,1024]t \in [256, 1024]t∈[256,1024]总表示能力可表示tmt^mtm个不同物品远超实际物品数量2.2.2 代表性工作工作机构年份核心创新TIGERGoogle DeepMind2023首个SID-based生成检索框架RQ-VAETransformerHSTUMeta2024动作-物品联合生成支持万亿参数工业部署LIGERMeta AI2024混合检索-生成解决冷启动问题OneRec快手2025端到端Encoder-DecoderRLHF偏好对齐UniGRF中科大华为2025首个统一检索与排序的生成框架核心优势计算效率将高维向量检索转化为离散序列生成存储复杂度从O(N)O(N)O(N)降至O(t)O(t)O(t)语义-协同平衡SID同时编码内容语义和协同信号缓解冷启动问题工业可行性推理速度满足实时性要求HSTU在Instagram部署验证技术局限LLM通用能力损失当前SID生成多采用孤立的物品压缩在SFT和RL阶段再与LLM对齐可能导致LLM固有通用能力的遗忘码本崩溃Codebook Collapse量化优化不稳定码本利用率低、语义区分度不足冷启动物品困境纯生成式方法对训练时未见过的新物品召回率接近零2.3 范式融合趋势LLM-based与SID-based并非孤立前沿研究正积极探索深度融合LIGER混合架构架构双向Transformer编码器生成解码器机制生成式召回SID预测密集检索精排向量相似度突破在Amazon Beauty数据集上冷启动物品Recall10达0.1008而纯生成式TIGER为0.0SeLLa-Rec知识增强通过混合投影层将协同过滤知识嵌入LLM语义空间使用特殊Token[COL], [ROW], [RAT]显式编码用户-物品交互矩阵技术洞察生成判别的级联架构代表当前工业界主流方向——利用生成模型的效率优势压缩候选空间同时保留判别模型的精准排序能力。三、召回与排序的统一从分离到端到端3.1 传统架构的困境传统推荐系统中召回Candidate Generation和排序Ranking是两个完全独立的阶段召回生成式任务从亿级库中快速筛选千级候选要求高效、高召回排序判别式任务对候选精准打分要求精准、支持复杂特征交叉核心矛盾两阶段独立优化召回效果成为排序天花板且存在严重的信息损失3.2 生成式推荐的统一视角生成式推荐将两者重新定义为同一序列生成任务的不同输出任务生成目标数学形式监督信号检索Retrieval预测下一个物品arg⁡max⁡Φ∈Xcp(Φi1∣ui)\arg\max_{\Phi \in \mathcal{X}_c} p(\Phi_{i1} | u_i)argmaxΦ∈Xcp(Φi1∣ui)正反馈物品序列排序Ranking预测下一个动作点击/跳过P(ai1∣Φ0,a0,...,Φi1)P(a_{i1} | \Phi_0, a_0, ..., \Phi_{i1})P(ai1∣Φ0,a0,...,Φi1)用户行为标签关键洞察在生成式框架下检索生成物品ID排序生成动作标签两者都是Next-Token Prediction的特例。3.3 统一架构的技术实现3.3.1 HSTU动作-物品交错生成Meta, 2024核心创新用户历史序列[物品A, 动作1(点击), 物品B, 动作0(跳过), ...] ↓ HSTU Transformer ↓ 交替生成[下一个物品ID, 预测动作, 再下一个物品ID, ...]技术优势单模型同时完成召回和排序通过Point-wise Attention和稀疏激活支持万亿参数在Instagram在线验证显著优于传统多阶段架构3.3.2 UniGRF显式任务协作机制2025核心问题简单统一两任务会导致优化冲突收敛速度差异、梯度干扰解决方案Ranking-Driven Enhancer利用排序阶段的高精度反馈生成高质量负样本形成检索→排序→增强检索闭环Gradient-Guided Adaptive Weighter动态监测两任务梯度范数自适应调整损失权重性能突破MovieLens-1M上检索NDCG10从0.184提升至0.20310.3%排序AUC从0.823提升至0.8412.2%关键发现简单统一w/o Both模块性能反而下降证明必须设计显式协作机制3.3.3 工业实践对比平台方案架构特点阶段MetaHSTU统一生成动作-物品交错在线实验快手OneRec端到端Encoder-DecoderRLHF在线部署淘宝TBGRecall生成检索ANN非统一首页在线GMV 2.16%京东GenRet语义ID生成传统排序离线实验中科大华为UniGRF统一生成任务自适应加权学术研究四、多模态大模型MLLM的融合应用4.1 为什么需要MLLM传统多模态推荐存在模态割裂、静态表征、知识孤岛三大局限。MLLM通过统一预训练将图文音视频映射到共享语义空间提供世界知识增强的动态理解能力。4.2 三大融合架构4.2.1 特征增强型工业界主流Spotify零微调框架视频帧 → Qwen-VL → 文本描述实体、动作、情感音频 → Whisper Qwen-Audio → 音轨摘要、情绪标签 ↓ BGE-large编码 → 文本嵌入向量 ↓ 输入SASRec/Two-Tower推荐器小红书实践基于10亿图文视频笔记训练自研多模态大模型多模态提取标签和内容表征 → 话题圈选种子用户 → Lookalike扩散关键应用新笔记冷启动效率显著提升4.2.2 端到端生成型学术前沿MLLM-SRec框架2025四步链式思考CoT流程VIUVisual Image UnderstandingVQA-based图像理解提取结构化视觉特征IMSGItem Multimodal Summary Generator融合视觉摘要与文本内容生成统一多模态物品表示TUBCTemporal-aware User Behavior Comprehension建模时序多模态交互捕捉动态偏好演化MLLM-based Recommender生成推荐决策Yes/No或物品ID技术优势在四数据集上达到SOTA显著提升冷启动和跨域推荐性能。4.2.3 混合协同型平衡方案MMGRec2024Graph RQ-VAE融合多模态特征图像文本音频和用户-物品交互图通过GCN更新节点表示层次化离散编码将多模态物品表示编码为固定长度的Semantic IDTransformer生成器根据用户历史SID序列自回归生成下一个物品的SID4.3 关键技术挑战挑战解决方案代表工作模态对齐与噪声注意力瓶颈融合、对抗多模态融合阿里CTR预测长序列建模动态窗口滑动、层次化摘要MLLM-SRec计算效率离线预处理、模型蒸馏、边缘部署Spotify , Aya Vision五、冷启动与新物品推荐从困境到突破5.1 纯生成式的结构性困境TIGER的零召回问题训练时未见物品的生成概率为零即使新物品内容相似模型也无法生成对应SID序列实验数据Amazon Beauty数据集上TIGER对冷启动物品Recall10 0.05.2 当前解决方案5.2.1 混合架构生成密集检索工业界主流LIGER方案用户历史 → 生成式召回SID预测→ 候选集A训练时见过物品 ↓ 密集检索基于文本嵌入相似度→ 候选集B冷启动物品 ↓ 融合排序 → 最终Top-K推荐关键机制当生成检索召回不足N个物品时自动用密集检索补充冷启动物品。5.2.2 课程学习增强的RQ-VAECL-VAE2025分层课程学习逐层训练RQ-VAE码本确保码本向量在各域均匀分布解决码本崩溃避免新域物品SID与训练时见过的Token差异过大5.2.3 Token嵌入对齐STAR2025轻量级对齐阶段冻结LLM参数仅通过物品标题/描述↔SID的配对监督更新SID Token嵌入避免均值初始化陷阱通过显式对齐注入语言学意义提升新SID的语义区分度5.2.4 LLM知识增强ColdRAG2025构建动态知识图谱通过多跳推理连接新物品与历史交互零样本设置下较基线提升31-56% RecallNext-User Retrieval抖音, 2025用LLM模拟冷启动物品的潜在用户Look-alike Modeling通过生成下一个可能交互的用户来反向推荐新物品六、多物品生成的解码策略6.1 核心问题自回归模型原生输出单个Token序列一个物品的SID如何获得Top-K推荐列表6.2 主流解码策略6.2.1 Beam Search束搜索—— 工业标准TIGER实现Beam Size B通常为50每层保留B个最可能的码本组合层级扩展对m层SID每层扩展时保留Top-B个候选去重与截断最终取Top-KK ≤ B作为推荐局限性Beam Collapse束崩溃导致多样性不足6.2.2 多序列采样学术前沿GPTRec的RRA/RA策略生成S个独立序列每个长度K Seq1: [item_A, item_B, item_C] Seq2: [item_B, item_D, item_A] Seq3: [item_C, item_A, item_E] RRA聚合Reciprocal Rank Aggregation score(item) Σ(1 / rank_in_seq) 跨所有序列按RRA分数取Top-K优势长周期推荐预测未来10物品性能提升10-30% NDCG显著优于单序列方法。6.2.3 并行生成效率优化Generating Long Semantic IDs in Parallel2025打破自回归串行限制通过图约束并行生成多层SID复杂度O(Mmdbqkm)O(Mmd bqkm)O(Mmdbqkm)与物品数量NNN无关七、未来趋势与研究方向7.1 Agentic推荐从系统推送到用户代理Perplexity vs. Amazon案例2025冲突本质Perplexity的Comet浏览器通过AI Agent自动化完成亚马逊购物流程绕过平台推荐算法深层启示推荐系统可能从平台主导的信息推送转向用户主导的Agent执行技术方向MenderMeta, 2025多模态偏好感知生成检索利用LLM将用户评论等有机数据转化为文本化偏好描述个人生活助手读取用户所有喜好习惯做精细化推荐7.2 用户交互历史作为新模态现状主要使用点击、购买等隐式反馈未来跨应用、跨设备的长期交互历史聊天、浏览、位置、生物识别构成用户数字孪生挑战隐私保护联邦学习、差分隐私与异构时序数据对齐7.3 统一生成模型的Scaling LawHSTU验证模型参数量从1B扩展到1T推荐性能持续提升关键发现推荐系统同样遵循规模即正义Scale is All You Need技术挑战稀疏MoEOneRec、线性注意力HSTU的Point-wise Attention降低开销端云协同推理边缘轻量模型云端大模型7.4 动态码本与在线学习当前局限RQ-VAE码本更新依赖离线重训练突破方向实时码本扩展Real-time Codebook Expansion新物品入库时动态扩展码本可微分量化优化Differentiable Quantization端到端学习新物品SID八、技术实践建议8.1 工业落地路径选择场景推荐方案关键考量大规模商品推荐淘宝/京东SID-based 密集检索精排计算效率优先LIGER架构内容社区推荐小红书/抖音MLLM特征增强传统排序多模态内容理解零微调框架知识密集型场景AI搜LLM-based CoT推理可解释性优先容忍延迟实时流推荐短视频FeedHSTU/OneRec端到端生成延迟100ms统一生成新物品占比高内容创作平台混合架构 LLM知识增强冷启动优化ColdRAG类方案8.2 研究前沿突破点统一检索与排序的生成模型UniGRF类框架的工业落地多模态统一SIDGraph RQ-VAE的跨模态生成能力Agentic推荐管道LLM作为推荐Agent的决策机制动态码本学习在线更新SID表示支持实时新物品结语生成式推荐代表了推荐系统架构的根本性变革。从TIGER的SID-based生成检索到HSTU的万亿参数统一生成再到MLLM-SRec的多模态端到端框架技术路线日趋清晰。当前正处于范式转移的关键期学术前沿探索端到端统一模型工业界务实采用混合架构平衡效率与效果。未来的推荐系统将更加生成式、多模态、Agent化——从给用户推荐物品进化为帮用户完成意图。这一变革不仅需要技术创新更需重新审视平台、用户与Agent之间的价值分配与权力边界。参考源汇总关键论文TIGER: Recommender Systems with Generative Retrieval (Google DeepMind, 2023)HSTU: Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations (Meta, 2024)LIGER: Unifying Generative and Dense Retrieval for Sequential Recommendation (Meta AI, 2024)UniGRF: Killing Two Birds with One Stone: Unifying Retrieval and Ranking with a Single Generative Recommendation Model (SIGIR 2025)MLLM-SRec: Leveraging multimodal large language model for multimodal sequential recommendation (Nature 2025)GPTRec: Autoregressive Generation Strategies for Top-K Sequential Recommendations (2024)工业实践Spotify多模态框架: Describe What You See with Multimodal Large Language Models to Enhance Video Recommendations (2025)小红书大模型实践: 小红书如何用大模型玩转推荐算法 (2025)淘宝TBGRecall: A Generative Retrieval Model for E-commerce Recommendation Scenarios (2025)快手OneRec: Unifying Retrieve and Rank with Generative Recommender and Preference Alignment (2025)技术博客与综述生成式推荐综述: Large Language Models for Generative Recommendation: A Survey (2024)多模态融合方法: 多模态融合全攻略从基础到进阶Perplexity与Amazon冲突: Perplexity AI’s New Shopping Feature Sparks Legal Controversy (2025)