「任务递进训练」共找到 3640 篇相关文章
英伟达全新开源模型:三倍吞吐、单卡可跑,还拿下推理SOTA
英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5,实现SOTA表现,吞吐量提至前代3倍,可单卡高效运行。它采用NAS优化架构,经多数据集训练,现已开源。
蚂蚁 | 提出代码检索/重排基准:CoREB,揭开高分榜背后的三大幻觉,现已接入MTEB
蚂蚁研究人员提出代码检索与重排评测基准CoREB,解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB,收录19个模型×6个任务评测结果,为代码检索模型评估提供新基线。
小米MiMo Agent 跨会话进化
多数AI编程Agent任务一长就忘事,业界主流靠堆上下文窗口应对,但有缺陷。小米MiMo团队开源的MiMo Code,靠显式存储 - 检索机制,200步以上任务胜率超Claude Code达65%,介绍了其设计及优缺点。
GPT之父把AI扔回1930年:没见过一行代码,却「发明」了Python!
GPT之父Alec Radford带队发布总参数130亿的大模型「talkie」,其训练数据冻结在1930年,没学过编程却能写Python代码,证明LLM可用旧知识推理。团队后续还有升级计划。
面壁MiniCPM-SALA模型,稀疏-线性注意力,单卡吞吐百万上下文
面壁智能团队提出SALA,基于此训练的MiniCPM-SALA模型,在单张A6000显卡实现百万token超长上下文推理,训练成本降约75%。它结合稀疏与线性注意力,采用混合架构,继承权重降低成本,在长文本处理上优势明显。
入局AI Infra:程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统,系统性拆解AI Infra的硬件、软件、训练和推理挑战,如硬件从CPU到GPU、软件依赖深度学习框架,还分析训练和推理面临的问题及解决办法。
LeCun新作反杀AGI派!AI连「鸟」都搞不懂,拿什么超越人类?
图灵奖得主Yann LeCun联手斯坦福团队最新论文揭示,LLM仅在粗糙分类任务表现优秀,精细任务却失灵。研究测试30多个大模型,得出三大发现,指出LLM与人类在概念形成和信息处理上存在本质差异。
建模世界偏好:偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law,从论坛收集数据在Qwen 2.5模型训练,发现测试损失随训练规模指数增长线性下降。提出建模世界偏好,论文和模型已开源,还探讨了偏好建模可扩展性等问题。
DeepSeek-V3.2正式版发布,将开源模型的能力推向极致
DeepSeek-V3.2正式版开源,包含标准版和Special版。它采用稀疏注意力机制,降低计算复杂度。后训练阶段有多项算法改进,支撑高难度推理。还融合思考与工具使用,合成训练数据,在智能体评测表现优异。
缺数据也能拿SOTA?清华&上海AI Lab破解机器人RL两大瓶颈
现有机器人视觉 - 语言 - 动作(VLA)模型训练范式存在数据采集成本高、泛化能力不足等问题。清华和上海AI Lab团队提出SimpleVLA-RL,解决了VLA模型训练的核心瓶颈,在多基准测试中实现SoTA性能。