「代码实验」共找到 2824 篇相关文章
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
本周推荐的6个超级6的Github开源项目！
本文推荐6个GitHub开源项目。如WeClone用微信记录定制数字分身、支持语音克隆；Windmill将脚本转工作流和UI；Zed是高性能Rust代码编辑器；webfunny_monitor监控前端性能；Rybbit分析网站流量；Lite XL是轻量级文本编辑器。
AI在「赚钱锦标赛」夺冠，比人类还会做生意！躺赚时代要来了？
研究人员提出自动售货机运营模拟环境Vending - Bench，测试大模型智能体管理业务能力。实验显示不同大模型性能方差大，Claude 3.5 Sonnet净资产表现最佳，人类基线在可靠性上表现较好，各模型长周期表现波动大。
a16z聊AI编程：别担心被取代，新玩家、新范式带来的是「很多」机会
a16z三位投资合伙人认为AI Coding是第二大AI市场，有望成最大单一市场。他们对编程未来不悲观，指出新人群与新方法或催生新软件形态，编程语言不会被取代，资深工程师仍被需要。
吴恩达来信：AI 速度带来的价值被低估了
吴恩达指出，AI 不仅能降低任务执行成本，还能显著加快执行速度，其在创造商业价值方面的重要性常被低估。以编写代码、借贷审批等为例，说明提速能带来新价值，企业应关注可提速环节带动增长。
OpenAI很看好！首个SWE-1模型发布，软件开发或将提速99%
Windsurf发布首个前沿模型SWE-1，目标将软件开发提速99%。它不只能写代码，还能协助软件工程流程。有三个系列模型，SWE-1运行成本低，SWE-1-lite对所有用户开放，SWE-1-mini适用于低延迟场景。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。