训练提速」共找到 2223 篇相关文章

开源动态8

腾讯纯文本LLM训视觉encoder,拿捏图表长视频,达到开源小模型SOTA!

腾讯开源Penguin - VL,直接用纯文本LLM训视觉编码器,跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强,训练分三阶段,相关代码、模型等已开放。

量子位
算法论文8

从视觉出发统一多模态!颜水成团队最新研究:不再把图像编解码器塞进LLM|ICLR'2026

NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发,用离散扩散框架统一文生图、图生文和VQA,挑战多模态“语言中心论”,在多任务表现出色。

量子位
算法论文8

微软 & UT Dallas 联手揭秘:从 SFT 到 RL 的进阶之路

微软与 UT Dallas 合作论文揭秘大模型做漏洞检测从 SFT 到 RL 的后训练流程,构建 C/C++ 漏洞数据集跑通全流程,总结六大‘避坑’指南,还开源整套框架、数据集和模型。

深度学习自然语言处理
新闻资讯7

离谱:Claude Code让地铁变工位,早高峰发版,打工人还笑得出来?

Spotify 联席 CEO 称顶尖开发者自去年 12 月未亲手写代码,靠 Claude Code 驱动的「Honk」系统提速开发。但一线开发者质疑说法是营销,用户要求降会员费,还质疑 Anthropic 官网招开发岗位。

机器之心
新闻资讯8

对话蚂蚁灵波首席科学家沈宇军:2万小时真机数据,用“慢功夫”做具身智能|甲子光年

蚂蚁灵波首席科学家沈宇军接受专访,称具身智能处于‘GPT - 1时刻’。团队选‘慢’路,积累2万小时真机数据,发布四个具身智能模型并开源。介绍模型架构、优势、问题及未来计划,还谈了开源考量等内容。

甲子光年
推荐文章8

解决算力瓶颈,给多模态瘦身!Token压缩完整图谱与选型指南

给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余,提升训练与推理效率。北大等团队剖析其全貌,给出完整图谱与选型指南,还揭示了未来演进路径。

AIGC开放社区
算法论文8

多模态大模型中Attention机制暗藏「骗局」,需用一个公式修正丨上大×南开

上海大学曾丹团队研究发现,主流VLM中attention受位置偏置和padding区域异常高attention影响,直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏,集成到多种剪枝方法,提升了模型性能。

量子位
新闻资讯7

GPT-5.3爆更前夜,全网都被一张图吓到!ChatGPT人格大赏

OpenAI华人研究员Joanne Jang一条推文引发ChatGPT生图玩法热潮,它能根据聊天记录生成反映‘待遇’的自画像。近期ChatGPT记忆功能优化,已向全球Pro和Plus用户推出。还有爆料称GPT - 5.3要来了。

新智元
产品应用8

世界最强医疗模型百川M3发布:AI医疗,奇点已至

百川智能发布并开源全球最强医疗模型Baichuan - M3,各项指标SOTA且超越人类医生平均水平。它告别机械‘背医书’,学会主动追问、排查病因,解决AI‘胡说八道’问题,准确度超GPT - 5.2 - High。

新智元
推荐文章7

大模型最难的AI Infra,用Vibe Coding搞定

Andrej Karpathy 力荐的 Vibe Coding 在 AI Infra 开发中常「水土不服」,存在上下文丢失、决策偏离、质量不稳定等问题。文章提出文本驱动的 Vibe Coding 方法,并以 Agentic RL 中的资源调度系统为例验证其有效性,还介绍了相关团队和工具。

机器之心