「训练优化」共找到 3104 篇相关文章
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。
数据合成有没有未来？事实结论来了
有人认为用大模型合成数据可快速生产，无需人工标注。但作者观察发现人工标注不仅必要且要求更高。以Scale AI、Surge AI为例说明标注价值，还展示‘智能知识’团队对两数据集审查结果，证明高质量数据需专家和管理流程。
以「图」破局，HyperOffload定义超节点存储管理新范式
随着生成式AI进入万亿参数时代，大语言模型面临“显存墙”挑战。上海交大与华为MindSpore团队发布技术报告《HyperOffload》，其核心技术集成于MindSpore 2.8，能提升超节点异构资源协同效率，已在多项目落地。
华为升级行业Agent算法架构！MindScale自己写prompt和工作流，KV Cache减少5.7倍token
华为诺亚方舟实验室更新面向行业应用的算法包MindScale，融合算法创新与业务实践经验。它梳理了Agent时代技术挑战，给出技术论文与昇腾代码，应对工作流维护等难题，还提升训推效率、适配国产硬件。
中国AI芯片如何破局？这家公司重注推理芯片
2月3日，云天励飞董事长陈宁在战略前瞻会表示要All in AI大算力推理芯片，打造“中国版TPU”。他认为2025 - 2035年是推理芯片高光时刻，还介绍了公司技术壁垒、差异、战略及生态等内容。
Anthropic 新研究：AI出错是“热混乱”
Anthropic研究团队发现AI可能无一致目标，只是瞎搞。他们将AI错误分类，测试发现推理越久越混乱，大模型复杂任务易失控。此发现改变对AI风险的认知，论文已在arXiv发布。
OpenAI深夜悄悄甩出GPT-5.1，称更热情，更智能！网友狂吐槽：我不想和它聊天，我想用它工作
OpenAI发布GPT - 5.1，含Instant和Thinking两版本，称更智能、对话更愉快，还增加“个性/语气”选项。但网友质疑“强化个性”方向，想要高效工具。业内认为拟人化是为提升用户体验和拓展应用场景。
华纳兄弟起诉Midjourney
Theverge消息，华纳兄弟起诉文生图平台Midjourney，称其AI工具生成大量侵犯版权的角色图像和视频，如蝙蝠侠、超人等。诉状列举侵权行为，提供对比案例，华纳希望获禁令并索赔。
The Batch: 871 | Mistral测量了大语言模型的能耗、水耗与物料消耗
法国AI公司Mistral发布对Mistral Large 2的环境分析报告，涵盖全生命周期影响。研究表明单次使用影响小，但累计负担大。虽研究有不足，但其方法或推动环保型AI发展。
几月前的伤心事，ChatGPT突然翻出来提醒我？网友当场破防：太会捅刀子了！
今年4月，OpenAI发布ChatGPT「记忆」功能并不断升级，能形成个性化档案，但也带来问题，如提及伤心事、造成社死等，背后有无意的算法残忍和上下文崩塌两类问题。