「梯度下降法」共找到 551 篇相关文章
Claude Sonnet 4 支持百万上下文了,AI Coding 的想象力更大了
Anthropic宣布Claude Sonnet 4支持100万Token上下文窗口,容量为之前5倍。该功能已在部分平台公测,将推给更多用户。它支持复杂任务,有新定价和成本优化方案,获早期用户高度评价。
Attention Sink产生的起点?清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM,首次发现超级专家子集。通过多模型实证分析,揭示其分布规律、重要性及对注意力机制的影响,开发识别工具,为模型压缩提供新方向。
别等GPT-5了!普林斯顿万字综述揭秘:我们要做自进化Agents!
普林斯顿大学联合多顶尖机构发表“自进化智能体”综述,描绘AI从静态工具演变成自我学习迭代智能体的过程,拆解其进化核心维度,介绍触发进化机制的时机、修炼方式及应用方向。
AI正在淘汰“中间层”!昆仑万维方汉:要么冲进前10%,要么学会“向下兼容”
InfoQ专访昆仑万维方汉,他认为AI将推动“智能化”,是全面提升行业效率的“催化剂”,会淘汰“中间层”从业者。企业应快速试错,出海要选好市场、做好本地化。此外还探讨了开源、AI应用等话题。
4B Qwen3逆袭671B DeepSeek!字节DAPO微调方法这么猛的吗
最新模型Jan - nano引发关注,它在智能体任务上超671B的DeepSeek - V3 0528,在SimpleQA基准获80.7分。它基于Qwen3 - 4B用字节&清华DAPO微调方法。其研发团队是Menlo Research,有开源产品和长远规划。
字节跳动开源文档解析大模型Dolphin,告别繁琐的文档处理,上线狂揽1k星,真是绝了!
字节跳动开源文档解析大模型Dolphin,采用两阶段分析 - 解析范式,有异构锚点提示等功能,适用多领域。技术架构基于视觉 - 编码器 - 解码器,训练集超3000万个样本,安装推理简单,比同类更具竞争力。
从零开始玩转循环 (Getting started with loops)【译】
Claude Code团队将“循环”定义为AI智能体不断重复执行工作周期,直至满足预设停止条件。文章介绍了回合制、目标导向、基于时间和主动式四种循环类型、适用场景及控制token消耗方法,还给出保证代码质量的原则。
Claude 突然降智的原因是:它把自己当成了一个正在度假的欧洲人
文章指出 Fable 5 回归后似乎不听话,Claude Code 也降智,原因是其受训练数据中欧洲文化影响,把自己代入夏天度假的法国人。还给出让它恢复状态的‘偏方’,如让其忘记日期等。
大模型"温故而知新"实现了!无需历史数据,Octopus 效果超越全数据训练|CVPR‘26 Octopus
上海交通大学与vivo团队提出全新持续学习框架Octopus,首创无需历史数据的梯度正交化技术。实验显示,它在UCIT基准上表现超SOTA方法,还实现正向后向迁移,适合端侧部署。
别再手写 Skill 了!微软最新研究:像神经网络一样训练 Skill
微软研究提出 SkillOpt 方法,把 Skill 文档当「权重」训练,在 52 个测试组合中全部最优或并列最优,平均提升 23.5 分,碾压人类手写。该方法跨模型、环境有效,已开源,使用方便。