「长上下文能力」共找到 4099 篇相关文章
DeepSeek R2没来,Kimi K2来了,VLLM,SGLang首发支持
Moonshot AI发布Kimi K2大语言模型,采用混合专家架构,总参数量达1万亿。其有多项技术创新,在多个基准测试表现突出。发布两版本,用修改版MIT协议开源,vLLM、SGlang首发支持,已上线多服务。
刷新复杂Agent推理记录!阿里通义开源网络智能体超越DeepSeek R1,Grok-3
互联网信息检索中,复杂问题让普通开源模型力不从心。阿里通义实验室提出WebSailor方案,通过SailorFog - QA数据集和DUPO算法等创新,提升模型能力,在多基准测试中超越诸多开闭源模型。
彻底戳穿AI「失忆症」!超越OpenAI全局记忆,中国队开源LLM记忆操作系统
大语言模型有「记忆」缺失问题,国内顶尖团队打造出操作系统级AI记忆框架MemOS并开源且可商用。它将「记忆」升为「一级资源」,用MemCube封装记忆,评测显示性能优于OpenAI全局记忆方案。
最强AI编程工具Claude Code,五个使用Tips
作者认为Claude Code是最强AI编程工具,因Anthropic对其针对性强化训练且不计上下文消耗。国内介绍少因自媒体水平差。作者分享五个使用Tips,如/init初始化、Plan Mode规划等。
南洋理工 | 推出开源版MetaQuery:OpenUni,1.1B参数媲美BLIP3-o-8B
南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni,仅 1.1B 参数就达 8B 模型性能。它架构极简、参数高效且完全开源,还采用两阶段训练策略,虽有局限但为多模态模型研究助力。
Sam Altman提醒创业者:ChatGPT将来要做的,大家就绕开吧
在Y Combinator举办的AI Startup School活动采访中,OpenAI CEO Sam Altman复盘创业历程,分享对AI未来的看法,包括从问答工具到智能体的进化、对软件和机器人行业的影响,还为创业者给出战术建议。
软件正在发生根本变化:Andrej Karpathy 旧金山 AI创业学院演讲万字实录
Andrej Karpathy在旧金山Y Combinator AI创业学院演讲,指出软件正进入“软件3.0”时代,大语言模型(LLM)是新型计算机,能用英语编程。他探讨了LLM特性、生态,以及如何利用其构建部分自治产品等。
通义实验室最新成果WebDancer:开启自主智能Deep Research的新时代
通义实验室推出 WebDancer,解决自主信息检索智能体构建难题。它创新合成训练数据,采用两阶段训练策略应对开放网络训练挑战,在多个基准测试中表现卓越,未来还将拓展能力。
华为创造AI算力新纪录:万卡集群训练98%可用度,秒级恢复、分钟诊断
大模型落地需强大算力集群支撑,构建万卡级算力集群是顶尖挑战。华为昇腾万卡算力集群近乎‘永不罢工’,其公开技术秘密,提出‘3+3’双维度技术体系,多项指标表现优异。
阿里+清华发现80/20法则:LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现,训练大语言模型(LLM)推理时,真正关键的是20%的高熵token,其余80%低熵token几乎无用。仅用20%高熵token做强化学习,效果超全量训练,还提出RLVR训练策略提升效率。