搜索：生成式预训练

「生成式预训练」共找到 4004 篇相关文章

推荐大模型来了？OneRec论文解读：端到端训练如何同时吃掉效果与成本

随着AI发展，推荐系统面临诸多问题，快手技术团队提出OneRec，以端到端生成式架构重构推荐系统全链路，在效果与成本上实现突破，已在快手双端服务用户，也有需完善之处。

月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。

SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。

麦吉尔大学团队提出新方法LLMSynthor，让大模型成结构感知的数据模拟器，为隐私敏感、数据稀缺场景生成不泄密的高质量替代数据。它通过结构推理、统计对齐等步骤实现，有理论保障，多场景实测效果佳。

文章深度解析生成式AI行业，介绍其宏观图景、商业运作、行业定位与战略考量。指出行业价值链呈“杠铃”形态，应用层机会大，还提及盈利模式、岗位薪酬、开源闭源之争等，为从业者提供职业指南。

继上周开源三连发后，阿里昨晚开源全球首个 MoE 架构视频生成模型 Wan2.2，具电影级美学控制能力。它有 MoE 架构创新等四大技术亮点，可在 Hugging Face 和阿里魔搭社区下载。

中科院计算所团队提出 SparseRL 框架，将深度强化学习引入稀疏 CUDA 代码生成任务。实验显示，在 SpMV 任务上编译成功率提升 20%，执行速度提升 30%。该成果已入选 ICLR 2026 Oral。

新加坡国立大学等联合发布EgoTwin框架，首次实现第一视角视频与人体动作联合生成，攻克视角-动作对齐与因果耦合瓶颈。它基于扩散模型，通过三大创新设计解决难题，实验性能超基线。

近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。

微软开源SkillOpt v0.2.0，加入SkillOpt - Sleep让Agent可自我复盘。该文本空间优化框架能自动训练和优化skill，有透明化、质量控制等特点，适合重复、可评估任务场景。