「极致上下文」共找到 730 篇相关文章
上下文工程又进化了:Harness实现AI完全自主化
近期Harness Engineering讨论火热,Harness是围绕AI模型的支撑架构,Anthropic用其突破AI局限,解决AI完成复杂任务时的偷懒问题,还通过多智能体架构用于前端设计、软件开发,经实战检验效果良好,后续还对其进行简化。
跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现
9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。
OpenAI发布GPT‑6 Astra:百万级上下文,主攻编程和复杂办公
9月3日,OpenAI发布GPT - 6 Astra,重点提升电脑操作、软件开发和复杂工作处理能力。它有诸多更新,如电脑操作提速、支持异步工具调用等,但也存在监测难、价格高的问题,实际效果待验证。
Transformer与RNN合体,谷歌打下显存门槛,解锁超长上下文
谷歌论文提出 Memory Caching 技术,通过架构机制创新赋予 RNN「可生长的记忆容量」,兼顾 Transformer 与 RNN 优势,能处理更长文本、降低推理资源门槛,实验显示有良好效果。
LeCun团队揭示LLM语义压缩本质:极致统计压缩牺牲细节
图灵奖得主LeCun团队提出全新信息论框架,对比人类与LLM语义压缩策略。通过构建人类概念分类基准、选30+LLMs,发现LLM虽有语义组织能力,但难处理细粒度差异,侧重统计压缩,人类更重细节语境。
Gemini桌面客户端终于上线:直接读取屏幕上下文,帮你解读一切!
谷歌推出Gemini的macOS原生客户端,支持全局快捷键拉起和窗口共享。它能突破浏览器限制,基于屏幕内容提供反馈,但目前离真正的桌面助手还有差距,后续有望补齐能力。
华为推出软工代码智能体SWE-Lego,解锁SFT训练极致性能
华为研究团队推出仅基于监督微调(SFT)的软件工程代码智能体SWE-Lego,无需复杂RL流程,在SWE-bench Verified基准中表现出色,项目已开源。它有数据、训练和测试时扩展三大创新。
DeepSeek-V3.2正式版发布,将开源模型的能力推向极致
DeepSeek-V3.2正式版开源,包含标准版和Special版。它采用稀疏注意力机制,降低计算复杂度。后训练阶段有多项算法改进,支撑高难度推理。还融合思考与工具使用,合成训练数据,在智能体评测表现优异。
DeepSeek开源新模型,提出上下文光学压缩:LLM的新记忆方式
DeepSeek开源OCR模型,探索用多少视觉信息让LLM理解文本。实验表明1000字文档约需100个vision tokens,压缩比10倍、准确率97%。还提出模拟人类遗忘等想法,有多种应用场景,且完全开源。
思维链可无限延伸了,MIT等打破大模型上下文天花板
MIT等机构提出新架构Thread Inference Model(TIM),配合专用推理引擎TIMRUN,把推理过程变为树状递归子任务结构并修剪子任务,让模型突破输出窗口限制实现长程推理,实验验证了其性能。