「预训练模型」共找到 8163 篇相关文章
14B打败671B！微软rStar2-Agent在数学推理上超过DeepSeek-R1
如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。
1000+页PDF解析速度暴涨3倍，MinerU模式不香了
百度PaddleOCR推出HPD - Parsing小模型，文档解析速度大幅提升，是上一代最快模型的1.62倍、自身原解码方式的3.06倍。它采用层级并行解码架构，有两层并行设计，效果出色且兼容性好，还分享了优质训练方法和优化思路。
张小珺采访了Kimi杨植麟，Agent泛化的临界点来了。
张小珺采访Kimi杨植麟，杨分享技术见解。如Scaling Law遇瓶颈，应提升Token效率；Adam与Muon对比，Muon学习效率高；模型公司下场做一方Agent产品，垂直整合模式上限高；还谈及长上下文、Agent训练及管理方式等问题。
AI 的“思维链”推理是海市蜃楼吗？
亚利桑那州立大学论文《大语言模型的思维链推理是海市蜃楼吗？》认为思维链推理在数据分布偏移时易出错，可能只是对训练数据模式的记忆。作者 Sean Goedecke 认为该论文结论不合理，从推理与语言、模型规模等方面提出反对意见。
NVIDIA技术沙龙《强化学习流水线优化：性能分析与 Rollout加速》演讲笔记
该演讲笔记围绕强化学习流水线优化，强调用Nsight Systems做性能分析，介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧，如Actor训练和Rollout优化，还以Qwen 2.5 7B等模型为例总结参数调优经验。
万字实录：AI究竟是普通人的“印钞机”，还是更狠的「收割机」？| GAIR Live 021
雷峰网&AI科技评论邀三位老师探讨“AI大模型金融应用的机遇与挑战”。以Trading Arena大赛为例，分析大模型在金融投资应用，指出打造强逻辑推理“大脑”是金融应用关键，也提及Agent局限与“黑天鹅”预判路径等。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
30万被引的AlphaGo之父，创业4个月融资近百亿元！笃信RL实现ASI
4月27日，AlphaGo之父David Silver创办的Ineffable Intelligence获11亿美元种子轮融资，投后估值51亿美元。该公司押注强化学习和自我经验学习，试图挑战大模型主线。未来或采用大模型预训练和强化学习混合路线。
马斯克说漏嘴了！Claude Opus参数5T，Sonnet 1T
马斯克发帖透露xAI的Colossus 2超算训练模型情况，还回应网友时“手滑”泄露Claude的Sonnet 1T、Opus 5T参数。此外，文章梳理网友对Claude各版本参数的推测，也提到Anthropic未发布模型Claude Mythos。