「训练优化」共找到 3103 篇相关文章
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
10B超越Gemini-2.5-Pro！阶跃星辰端侧多模态天花板开源
阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。
NeurIPS 2025｜指哪打哪，可控对抗样本生成器来了！
近日，清华大学和蚂蚁数科在NeurIPS上联合提出Dual - Flow新型对抗攻击生成框架。它能从海量图像数据学“通用扰动规律”，对多模型、多类别发起黑盒攻击，为AI安全带来挑战，已用于蚂蚁数科产品。
日本AI王者，CTO是Transformer之父，刚拿下世界编程竞赛冠军
在ICFP 2025编程大赛中，日本Sakana AI的「Team Unagi」以人机共创模式夺冠。其AI系统「ShinkaEvolve」优化代码，性能提升近十倍，还启发人类思维。Sakana AI以自然进化为理念，探索AI新范式。
NeurIPS 2025 Spotlight | 条件表征学习：一步对齐表征与准则
文章指出传统表征学习处理图片和商品信息时存在局限，针对性有监督训练成本高，多模态大模型使用成本也需考虑。为此提出即插即用的条件表征学习方法 CRL，实验显示其在下游任务表现优异。
陶哲轩联手GPT-5，1小时攻克数学难题！全程无需编码，OpenAI副总惊呼
陶哲轩联手ChatGPT攻克MathOverflow复杂数学题，节省数小时编码时间。他先让ChatGPT生成代码，后改用分步对话找参数，还验证结果。AI助其发现错误、优化流程，凸显在数学研究的潜力。
从GPT-2到gpt-oss，深度详解OpenAI开放模型的进化之路
OpenAI 近日发布 gpt-oss-120b 和 gpt-oss-20b 两个开源模型，Sebastian Raschka 发布博客对其详细分析，回顾自 GPT - 2 以来 AI 社区进步，还与 Qwen 3 比较，介绍架构、训练、推理等细节。
深入剖析AI公司正在面临的：「囚徒困境」
文章指出AI模型训练成本虽下降，但运营成本尤其是推理费用飙升，使AI公司陷入两难。用户只青睐最强模型，且模型资源消耗远超预期，订阅模式难以为继，还给出了避免亏损的三条出路。
Token成本下降，订阅费却飞涨，AI公司怎么了？
文章指出，虽模型训练成本下降，但 AI 公司运营成本尤其是推理费用猛增。以固定费率订阅和高 token 消耗的商业模式的公司面临困境，如 Windsurf、Claude Code 等，还给出避免亏损的三条出路。
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制：仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。