「长上下文困境」共找到 1349 篇相关文章
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
B站出海的强有力支柱：最新开源文本转语音模型IndexTTS-2.0标志零样本TTS进入双维度时代
B站Index团队开源文本转语音模型IndexTTS - 2.0，引发关注。它解决了传统AR模型时长控制难题，实现零样本TTS双维度控制，在多方面表现优异，为B站出海及AIGC应用奠定基础。
Anthropic 断供，国产 Coding 模型的中场战事开启
Anthropic对中国企业断供，国产模型面临成为Claude平替的机遇。Kimi等模型纷纷尝试，Kimi K2 0905版本在编码、上下文及工具调用上提升，其终极目标或构建具Agent特质产品，未来Agent是决胜场。
Claude Opus 5发布，砍掉了Claude Code 80%的系统提示词
Anthropic发布Claude Opus 5，接近Claude Fable 5智能且价格减半，测评成绩出色，科研和视觉输出能力也有进步。同时发现砍掉Claude Code 80%系统提示词，编码评测分数不变，还总结出上下文工程新方法论。
智谱创始人唐杰透露：原生多模态模型将在数月内上线
智谱创始人唐杰透露原生多模态模型数月内上线。智谱上市后股价涨幅大，但多模态是短板。唐杰还判断今年AI最可能在长时程任务突破，阐述技术支柱、自我进化等观点，称将重塑各行业。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。
首创双NPU架构一鸣惊人！联发科天玑9500重磅加码主动式AI体验
联发科天玑9500首创超性能+超能效双NPU架构，让AI始终在线，融入用户操作。其输出性能、上下文窗口等有显著提升，还解决了模型加载慢等问题，与多厂商合作推动端侧AI落地。
这可能是Claude Code最重要的功能
Claude Code新功能Sub - agents很实用，能创建多个专精任务的Agent，有独立上下文窗口防‘记忆污染’，配置灵活，还能组成工作流。创建简单，比社区项目有优势，是Claude Code截至目前最重要功能。
姚顺雨入职腾讯50天后，发布了首篇署名论文：CL-Bench
2月3日姚顺雨加入腾讯50天后发布首篇署名论文《CL-bench: A Benchmark for Context Learning》。该论文做了新的benchmark，测试显示前沿模型平均分仅17.2%，指出模型在上下文学习尤其是归纳能力上的短板。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。