「视觉指令微调」共找到 1141 篇相关文章
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
准确率92.7%逼近Claude 3.5、成本降低86%，开源代码定位新神器LocAgent来了
OpenHands 等团队发布 LocAgent，这是用于代码定位的图索引 LLM Agent 框架，准确率达 92.7%。它把代码库解析成图，提供工具接口，经实验效果出色，开源微调模型降本增效，还能提升问题解决率。
冷门新语言AI写不动？IEEE论文：从零到及格线，MoonBit给出完整训练路线
IEEE论文聚焦新语言MoonBit和Gleam，探讨大模型代码生成能力。研究发现大模型零样本生成新语言代码能力差，few - shot和RAG有提升但有限，继续预训练及指令迁移可显著提高模型表现。
我复刻了 Claude 刚发布的生成式 UI 交互！
Anthropic在Claude上线基于生成式UI的新交互，作者复刻该功能到Code Pilot。介绍其多种玩法，如数据分析、制作小工具等，还阐述实现过程与体验打磨细节，保证生成式UI视觉稳定。
让机器人「秒懂人话」！中国电信TeleAI发布首个实时文本驱动人形机器人控制框架TextOp
中国电信人工智能研究院（TeleAI）具身智能团队推出人形机器人TextOp通用小脑，首创流式文本驱动的实时小脑控制范式。用户发文本指令，机器人就能实时理解、无缝切换动作，在多场景有应用潜力。
3.5k星星！用AI推演、预测未来，这个开源多体智能引擎做到了。
文章介绍开源多体智能引擎MiroFish，它是基于多智能体技术的AI预测引擎。用户提供种子文件、下达指令，它能构建数字沙盘，让AI智能体互动演化，可用于企业公关等场景，还给出推演流程。
Alibaba力作:Ovis-U1 融合理解、生成与编辑，解锁无限可能
OpenAI 2025 年推出的 GPT - 4o 结合图像与语言能力，但引发视觉解码器设计及统一模型训练问题。Alibaba 力作 Ovis - U1 单一模型能完成理解、生成与编辑任务，介绍了其架构、训练过程和应用。
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
拒绝Reward Hacking！港科联合快手可灵提出高效强化学习后训练扩散模型新范式
使用强化学习微调扩散模型时，常面临Reward Hacking和KL正则化阻碍探索收敛的问题。港科等团队提出GARDO框架，通过门控自适应正则化和多样性感知优化，解决痛点且全面开源。