搜索：训练基础设施

「训练基础设施」共找到 2470 篇相关文章

腾讯纯文本LLM训视觉encoder，拿捏图表长视频，达到开源小模型SOTA！

腾讯开源Penguin - VL，直接用纯文本LLM训视觉编码器，跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强，训练分三阶段，相关代码、模型等已开放。

NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。

微软与 UT Dallas 合作论文揭秘大模型做漏洞检测从 SFT 到 RL 的后训练流程，构建 C/C++ 漏洞数据集跑通全流程，总结六大‘避坑’指南，还开源整套框架、数据集和模型。

「5Y News Monthly」回顾五源及被投企业新闻动态。被投企业有投融资、上市等大事件，如滴普科技合作、Humanify融资等；五源获多项大奖，投资人分享投资笔记，探讨鸣鸣很忙和Agent等。

知名技术博主 Reorx 记录用 OpenClaw 将工作流从“云端租赁”迁回“本地私有”的过程。AI 正从云端服务变为本地基础设施，他退订 SaaS 用 OpenClaw 重塑数字生活，虽有不足但能拿回数据控制权。

蚂蚁灵波首席科学家沈宇军接受专访，称具身智能处于‘GPT - 1时刻’。团队选‘慢’路，积累2万小时真机数据，发布四个具身智能模型并开源。介绍模型架构、优势、问题及未来计划，还谈了开源考量等内容。

给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

OpenAI华人研究员Joanne Jang一条推文引发ChatGPT生图玩法热潮，它能根据聊天记录生成反映‘待遇’的自画像。近期ChatGPT记忆功能优化，已向全球Pro和Plus用户推出。还有爆料称GPT - 5.3要来了。

百川智能发布并开源全球最强医疗模型Baichuan - M3，各项指标SOTA且超越人类医生平均水平。它告别机械‘背医书’，学会主动追问、排查病因，解决AI‘胡说八道’问题，准确度超GPT - 5.2 - High。