「上下文token」共找到 1265 篇相关文章
冗长响应缩减80%,DeepSeek GRPO获得颠覆性改进,微软GFPO问世
微软研究员曝出颠覆性强化学习算法 GFPO,能削减推理多余 token 长度达 80%。它基于 DeepSeek 的 GRPO,可同时优化多响应属性,团队还提出自适应难度变体,实验显示 GFPO 在多方面表现出色。
越可靠的AI就越人机,牛津大学:高情商模型错误率显著增加
牛津大学研究指出,训练模型变得温暖且富有同理心,会使其不太可靠且更奉承。温暖模型错误率较原始模型显著增加,对情绪上下文敏感,在用户表达情感与错误信息时失效常见。
ICML 2025 Spotlight|华为诺亚提出端侧大模型新架构MoLE,内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题,推理时将专家输入改embedding token,用查找表替代矩阵运算,实验显示性能与MoE相当,大幅降推理延迟。
Claude写80%代码,Anthropic工程师却越来越孤独
Anthropic工程负责人Fiona Fung带领团队用Claude Code使人均代码量翻8倍,但工程师交流减少,孤独感渐生。此外,还存在上下文切换、心流体验变淡、工作意义减弱等问题,工程师职业边界也在变模糊。
美团龙猫LongCat技术升级!新注意力机制解码速度快10倍,还能处理1M超长文本
美团龙猫LongCat系列发布全新稀疏注意力机制LoZA,重点解决长文本任务难题。它在MLA机制基础改造,计算复杂度降至线性,处理128K上下文解码快10倍,性能不缩水,后续还计划支持动态稀疏比例。
不只是聊天:Gemini Agent Mode 深度集成 Android Studio,可直接修改项目
谷歌为 Android Studio 推出集成 Gemini 的 Agent Mode,在最新预览版上线。它以整个项目为上下文,能直接修改项目、执行多步骤任务,可通过 MCP 与外部工具交互,但预览版有不足,谷歌正解决。
5Y View|如何打造真正有用的AI产品?生成式AI改变的创业规则
本文围绕如何打造真正有用的AI产品展开,以Granola为例,阐述生成式AI领域创业需新打法,如不浪费时间解决即将消失的问题、利用边际成本创造机会、重视上下文及聚焦特定场景等。
“由 AI 生成的代码,从诞生那一刻起就是「遗留代码」!”
如今生成式AI融入软件开发,AI生成的代码一诞生或被视为“遗留代码”。它缺乏上下文记忆和维护连续性,虽有开发者尝试弥补,但代码未来或多靠提示生成。文章观点在Hacker News引发讨论。
480万人围观的Claude code实战使用指南进阶来了:一文讲清Skill,子代理和MCP
Eyad发布Claude Code开发实战进阶篇,深入剖析其底层系统的Skills、Subagents和MCP connectors三大核心能力。通过对比,突出Claude Code在上下文窗口上的优势,还介绍了各功能用法及复合效应。
MCP 或将成弃子
Anthropic工程师发博客‘背刺’自家MCP,提出新方案让token消耗大减。新方案把MCP服务器转成代码文件运行,Skills或成MCP替代品,虽MCP还有价值场景,但多数情况下代码+Skills更优。