「中训练」共找到 4217 篇相关文章
在「外滩大会·具身智能：从泛化到行动，重塑产业未来」上，这些大牛都说了什么？
9月11日，机器之心联合出品的外滩大会见解论坛聚焦具身智能。多位学界和业界代表分享看法，如孙富春称训练场可破数据瓶颈，江磊指其是新型数据工厂。思辨和圆桌环节探讨技术路线、应用场景等关键问题。
Thinking Machines又发高质量博客：力推LoRA，不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近，大数据量稍吃力，强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
vivo发布端侧多模态模型，只有3B可理解GUI界面，20项评测表现亮眼
vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B，融合文本与图文能力，支持长短思考模式切换。它在20余项评测中表现出色，参数量小，训练和推理成本低，有精巧结构、高效策略，还有高质量数据和高性能平台支撑。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
又是王冠：27M小模型超越o3-mini！拒绝马斯克的00后果然不同
27M小模型HRM由拒绝马斯克的00后王冠开发，超越o3 - mini - high和DeepSeek - R1，推理不靠思维链。它采用分层推理等五项核心技术，在多测试中表现出色，虽被指通用性不足，但有人看好其仿脑架构。
压缩之外，Visual Tokenizer 也要理解世界？
MiniMax和华中科技大学发布视觉tokenizer新研究VTP，引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示，提出在预训练中引入语义理解，还发现Scaling Law现象，虽有争议但为研究提供新视角。
击败PI ，清华系具身公司包揽「具身奥林匹克」三项全球第一，刷新世界纪录！
在Benjie's Olympics赛事中，星动纪元凭借自研具身智能模型获三项全球第一，击败具身领域老牌公司PI。该赛事规则严苛，星动纪元在剥橘子、开锁、翻袜子任务中表现出色，此前其在技术研发和场景落地也成果颇丰。
先进封装补完计划
2024年美国众议院点名批评美资对盛合晶微投资，后将先进封装列为投资禁区。盛合晶微由中芯国际和长电科技合资成立，攻克硅中介层难题。AI芯片变大使台积电产能紧张，盛合晶微为国产芯片提供新选择。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。