「LLM训练」共找到 2867 篇相关文章
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
中学生就能看懂：从零开始理解LLM内部原理【十二】｜位置嵌入 - 给模型装上"GPS"
文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。
深度讨论 Gemini 3 ：Google 王者回归，LLM 新一轮排位赛猜想｜Best Ideas
近期，OpenAI、Google、Anthropic 先后发布新模型，引发大模型竞赛。本文聚焦 Google 发布的 Gemini 3，从算力、数据、架构等维度剖析其强大原因，探讨大模型竞争新格局，还涉及多模态、硬件、商业化及产品形态等方面。
图片生成仿真！这个AI让3D资产「开箱即用」，直接赋能机器人训练
南洋理工大学与上海人工智能实验室团队提出PhysX - Anything，首个面向仿真、具物理属性的3D生成框架。它仅需单张图像就能生成可用于仿真的3D资产，在多项测试中表现优异，有望推动3D重建范式转变。
Dev Proxy v1.3.0：HAR 文件生成、LLM 使用跟踪、增强的 API 测试功能
Microsoft 365 开发团队发布 Dev Proxy v1.3.0 版，引入 HAR 文件生成、OpenAI 使用跟踪等新功能，改善调试、测试和 API 监控，还改进 OpenAPI 规范生成等，同时更新了 VS Code 工具包。
500美元刷新SOTA！训练成本砍到1/200，华人团队重构视频生成范式
香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。
全球首个科研LLM竞技场上线！23款顶尖模型火拼：o3夺冠，DeepSeek第四
Ai2耶鲁NYU联合推出科研版「Chatbot Arena」——SciArena，23款顶尖大模型比拼科研任务，OpenAI o3夺冠，DeepSeek第四。该平台解决通用基准测试在科研场景‘失效’问题，但其自动评估系统猜科研人偏好远未及格。
LLM长文本内卷，谁是真英雄？告别跑分玄学，我们需要一把“公道秤”
OpenNLG Group做了统一长上下文评估框架LOOM - Scope，兼容主流benchmark、model和长上下文加速方法。该框架围绕BENCHMARK、DEPLOYMENT和EVALUATOR三大核心模块，还提出LOOM - Bench应对评估成本制约。
比女皇报告还炸裂！67页AI深度调研刷屏，全球LLM大决战真正开始
硅谷财富管理巨头Iconiq Capital发布《2025年AI现状报告》，实测300家AI公司落地路径，揭示AI从概念走向实战的七大真问题，解析从构思到部署AI产品路径，核心关注高效构建、规模化落地等。
强化学习也能预训练？效果可提升20倍，华人新作引爆RL新范式!
伯克利团队提出新方法InFOM，不依赖奖励信号，能在多任务中超强迁移与推理。在36个基于状态和4个基于图像的任务测试中，InFOM表现出色，在jaco任务上改进达20倍。