「混合长度理论」共找到 461 篇相关文章
Anthropic 哲学家首次 AMA:关于 AI 哲学与伦理边界
Anthropic的哲学家Amanda Askell在首次AMA中,就AI哲学与伦理边界等诸多问题作答,涉及AI道德决策、模型特点、理论与实践、模型福祉等内容,还谈及对各类问题的看法及解决思路。
刚刚!Kimi Linear横空出世,全新注意力架构:1M长文本解码速度飙升6.3倍,KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear,有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈,性能超传统机制,还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率,实验表现佳。
Thinking Machines再发文:模块化流形让训练更稳定
Mira Murati团队分享神经网络训练推理新研究,提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形,设计Manifold Muon优化器,实验显示效果好,但计算开销和理论问题待解决,代码已开源。
从「会说」迈向「会做」,LLM下半场:Agentic强化学习范式综述
过去LLM训练多依赖PBRFT范式,但局限明显。2025年初起,Agentic RL新范式受关注。此综述论文梳理该方向,覆盖500+研究,构建理论框架,讨论未来挑战,助LLM从「会说」迈向「会做」。
RAG效果不佳?先别急着微调模型,这几个关键节点才是优化重点
文章深入探讨RAG技术实现与优化,指出其在AI应用开发中常被当黑盒,从文档分块、索引增强、编码、混合检索到重排序等关键环节解析,强调结合场景调优以提升召回与精确率。
对「学习」的一切认知都错了
曾被认为不可能的超大模型如今成功驱动ChatGPT等,改变了对学习的理解。彩票假说解释其成功:大网络有中奖子网,能提供更多找简单解的机会,调和了经验与经典理论。
破解「长程智能体」RL训练难题,腾讯提出RLVMR框架,让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架,将‘元认知’理论引入RL,通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题,经其训练的7B模型表现出色。
重塑浏览器!微软在Edge加入AI Agent,自动化搜索、预测、整合
今天凌晨微软官网宣布在浏览器Edge中加入Copilot模式,它像多层级混合智能体,能自动执行搜索、整合等操作,有标签筛选等创新功能,可提升效率,还保障隐私安全,已免费开放。
开放世界任务成功率82%!美的攻克机器人泛化控制难题
美的AI研究院和华东师范大学联合提出ChatVLA - 2模型,引入动态混合专家架构和双阶段训练流程。真机实验显示其开放世界任务成功率达82%,远超现有方法,为通用机器人控制提供新思路。
给大模型装上「思维分段引擎」:浙大InftyThink解锁无限深度推理
如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式,将传统推理拆成短片段并总结,突破推理长度限制,在多基座模型实验中表现优异。