「生成式预训练」共找到 4064 篇相关文章
ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码，多项任务远超RoPE
长文本能力对语言模型重要，但现有模型训练窗长有限，流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足，提出傅里叶位置编码FoPE，提升长文本泛化能力，实验表现超RoPE。
68页论文再锤大模型竞技场！Llama4发布前私下测试27个版本，只取最佳成绩
《排行榜幻觉》论文指出Chatbot Arena存在问题，如少数大厂私下多版本测试选最优、数据访问不平等、用Arena数据训练可提性能、模型被大量静默弃用等，研究团队给出改进建议，官方也进行了回应。
拟合接近满分，外推却会跑偏：Meta 给缩放律加了一个指数
大模型训练前，团队常用 Chinchilla 缩放律估算模型规模和数据量，但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数，降低外推误差，还采用 L 形采样降低试算成本。
4.8K Star！一套面向设计工程师的 AI 编码智能体 UI 技能集合！
前端开发中AI生成代码质量参差不齐，ui - skills项目应运而生。它由开发者ibelick创建，是面向设计工程师的UI技能集合，将开发经验转化为规则，通过CLI工具让AI按规则构建和审查代码，已获4.8k Stars。
大模型推理也能“智能调度”：让奖励模型按需分配算力的动态路由机制 | ACL 2026
生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。
2026年了，我们还在用爱迪生试灯丝的方式评估World Model
文章围绕World model展开深度讨论，界定其概念，分析生成派、JEPA派、空间智能派三条技术路线，指出评估比LLM难，提及游戏化benchmark可能是破局点，还强调具身进展由数据驱动，Ego - View或为泛化关键。
国产GPU开始造世界！国内首个全栈具身智能仿真平台来了
摩尔线程发布国内首个全栈国产化具身智能仿真平台MT Lambda，实现Sim-to-Real真机验证。该平台像物理AI训练流水线，集成物理、渲染、AI引擎。其依托全功能GPU和MUSA架构，还构建了云端、端侧、生态闭环。
把视频变成图文博客：Agent + 豆包 Seed2.0 lite 重做 Karpathy 两年前的工作流
本文以重做 Karpathy 两年前工作流为例，介绍用 Agent + 豆包 Seed2.0 lite 将视频转为图文博客的方法。详述四步流程，指出其局限，还说明该模式可用于竞品直播追踪、在线课堂报告、游戏赛后复盘等场景。
GRPO遭遇瓶颈？G²RPO-A让自适应指导为小模型推理能力「开外挂」
大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。
李飞飞做AI游戏，拿了4个亿
李飞飞联创的AI游戏公司Astrocade获5600万美元A+B轮融资。该平台让用户用自然语言描述就能生成游戏，上线8个月有2000万用户、月1.4亿次游玩。其用专门AI模型降低创作门槛，未来发展待察。