「轻量化视觉微调」共找到 1090 篇相关文章
ChatGPT架构师,刚发布了最新研究成果
Thingking Machines发布第三篇研究博客,核心作者是OpenAI联创John Schulman。研究关于LoRA参数高效微调方法,探究其匹配全量微调效率的条件,给出简化调参方案,还提炼出三个核心发现。
看完最新国产AI写的公众号文章,我慌了!
AI 快砸作者饭碗,智谱 GLM - 4.6V 能根据 NeurIPS 2025 最佳论文生成图文并茂的公众号文章。它还能助力学生看论文、分析财报等,可复刻网站、处理视频,在多模态评测中达同级别 SOTA。
模拟大脑功能分化!北大与港中文发布Fast-in-Slow VLA,让“快行动”和“慢推理”统一协作
北大与港中文研究团队发布 Fast-in-Slow(FiS-VLA)全新双系统视觉 - 语言 - 动作模型,将快速执行模块嵌入预训练视觉 - 语言模型,实现快慢系统一体化。该模型在多平台表现优异,控制频率大幅领先。
智谱GLM-OCR,0.9B开源即巅峰,复杂文档精准解析
智谱发布并开源GLM - OCR,以0.9B轻量级参数在多项基准取得SOTA。它解决视觉感知难题,具备视觉编码与语言解码协作架构,还可端侧与高并发部署,成本低,推动文档智能化处理升级。
DeepMind 颠覆机器人学习范式:让机器像人一样 “自由成长”
谷歌DeepMind受大模型微调中强化学习阶段启发,提出面向机器人学的两阶段后训练方法,含监督微调与自我提升。实验显示该方法让机器人自主习得新技能、广泛泛化,但研究也存在标注成本高等局限。
一年从3B卷到0.xB:MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代,MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责,采用互补预训练目标,还开源训练数据,且迁移到多任务表现良好。
1.93bit版DeepSeek-R1编程超过Claude 4 Sonnet,不用GPU也能运行
1.93bit量化后的DeepSeek - R1(0528)编程能力超Claude 4 Sonnet,在aider榜单获60分。Unsloth工作室制作9个量化版本,小版本不用GPU也能跑。R1 - 0528在游戏评测中表现也佳。
解码加速15倍!EdgeRazor助推大模型在PC/移动端“狂飙”
大语言模型参数膨胀,端侧部署难,量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出,采用MPQAD打破极低比特大语言模型“能力塌陷”,在性能、效率、易用性等方面表现出色,打通AI全生态链路。
Make SFT Great Again!从SFT到DFT:一权重之差,泛化之跃
大型语言模型的监督微调(SFT)简单高效,但泛化能力弱于强化学习(RL)。本文直击 SFT 核心缺陷,揭示其泛化瓶颈源于隐含的“病态奖励结构”,并提出仅需单行代码修改的动态微调(DFT),实验表明其效果显著。
AI Agent的上下文工程:构建Manus的经验教训
上下文工程是AI智能体的“系统一”,决定其速度、恢复力与扩展边界。Manus通过试错与用户验证,给出可复用经验,如利用大模型“上下文学习”能力、关注KV - cache命中率等。