搜索：参数高效微调

「参数高效微调」共找到 1419 篇相关文章

斯坦福×英伟达发布AI推理新范式，刷新了多领域SOTA

斯坦福与英伟达联合发布论文 TTT - Discover，提出新范式，不追求通用，在推理阶段针对特定难题修改模型参数。它战绩辉煌，但成本高、是偏科生且需打分器，其出现是技术与哲学的突破。

当地时间5月5日，Subquadratic公司推出模型SubQ，称是LLM智能重大突破，有1200万token上下文。数据亮眼，如在1M token场景比FlashAttention快52倍等，但也引发质疑，有人推测是对开源模型微调，官方未公布详细模型卡。

阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。

在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。

作者整理了6个做AI和ML的技巧，如提前结束评估、超参数过度优化、精心挑选数据集等，指出现在90%的模型可能都用到其中不止一招，还介绍了自己用AI采集资讯发布到知识星球。

2月4日上海人工智能实验室开源万亿参数科学多模态大模型Intern - S1 - Pro，为AI4S迈向2.0提供开源基座。其核心科学能力跃升，底层架构创新，科学与通用能力协同发展，还构建了‘算力 - 算法’一体化基座，推动科研范式革命。

由陈天桥和代季峰联合发起的 MiroMind 团队，于 1 月 5 日发布自研旗舰搜索智能体模型 MiroThinker 1.5。该模型参数规模小但性能强，其核心是「发现式智能」理念，还采用了新训练技术，有 A 股涨停板预测等应用。

Andrej Karpathy 用 Opus 5 结合《指环王》开篇文字，花约 10 美元让其渲染 3D 游戏。Opus 5 两小时写出 5500 行代码生成 3D 世界，虽粗糙但证明 AI 强大。不过，LLM 无法高效审查自己工作，这是弱点。

文章深入分析TiledCopy，从参数理解、访存连续性等角度展开。介绍Tiler_MN和TiledLayout_TV意义及构造，指出访存连续性影响性能，还说明了基于cp.async构造TiledCopy的要点，如ValLayout选择和Layout限制。

深夜，Kimi发布新开源代码模型Kimi - Dev，在SWE - bench Verified上以60.4%成绩获开源SOTA。参数量72B，编程水平强。采用MIT协议，权重和代码已发布。官方透露了部分关键技术，更多细节待后续报告。