「对齐微调」共找到 501 篇相关文章
Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起
知名AI研究员Sebastian Raschka预测2026年，Transformer架构在未来至少一到几年仍占统治地位，但会在效率和混合上微调。同时，扩散语言模型虽有工具调用缺陷，但在数据稀缺时或成更好的学习者。
马斯克开始疯狂剧透Grok 5了
ARC - AGI榜单官宣新SOTA，用Grok 4+程序合成技术微调，超越一众明星模型。马斯克剧透Grok 5，称其能达AGI，将几周内开始训练。投入大量训练数据和硬件资源，但成品效果仍待观察。
The Batch：841 | 大语言模型正在纠正历史遗留的不公
美国北加州旧不动产契约含种族歧视条款，人工筛查耗时久。斯坦福和普林斯顿大学研究人员微调大语言模型实现自动识别，分析圣克拉拉县契约，发现诸多受影响土地，且揭示少数开发者推动住房隔离，模型已开源。
VAE再被补刀！清华快手SVG扩散模型亮相，训练提效6200%，生成提速3500%
前脚谢赛宁宣告VAE在图像生成领域退役，后脚清华与快手可灵团队就推出无VAE潜在扩散模型SVG。它通过语义+细节双分支+分布对齐，实现多任务通用，训练提效62倍、生成提速35倍。
华人主导谷歌SLED，论文登顶会！一键让模型学会自救
大模型常「瞎编」，传统修复代价高。谷歌在NeurIPS 2024提出SLED方法，不依赖外部知识和额外微调，将各层预测纳入考量，减少模型幻觉。实验显示，SLED能显著提升模型准确率。
OpenAI 最新报告：让团队变得 AI Native 的五大原则
OpenAI 发布白皮书《Staying ahead in the age of AI》，基于与国际大公司合作经验，提炼出让团队变得 AI Native 的五大原则，即对齐、激活、放大、加速、治理，还给出各原则策略及反思问题。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
准确率92.7%逼近Claude 3.5、成本降低86%，开源代码定位新神器LocAgent来了
OpenHands 等团队发布 LocAgent，这是用于代码定位的图索引 LLM Agent 框架，准确率达 92.7%。它把代码库解析成图，提供工具接口，经实验效果出色，开源微调模型降本增效，还能提升问题解决率。
打破「数据暴力」预训练惯性，阿里Qwen、上交大等提出预训练动态数据选择范式OPUS
阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS，打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐，提升预训练效率与下游泛化表现，实验显示其“效率+性能”双提升。