「LoRA训练方法」共找到 3298 篇相关文章
马斯克说漏嘴了！Claude Opus参数5T，Sonnet 1T
马斯克发帖透露xAI的Colossus 2超算训练模型情况，还回应网友时“手滑”泄露Claude的Sonnet 1T、Opus 5T参数。此外，文章梳理网友对Claude各版本参数的推测，也提到Anthropic未发布模型Claude Mythos。
小模型大作为！微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。
机械手真正「活」了，银河通用&清华推出DexNDM，用神经动力学重塑灵巧操作
银河通用与清华推出DexNDM，旨在解决灵巧操作技能sim - to - real难题。它能让灵巧手掌握多种转轴、多样手腕朝向下旋转物体的技能，构建的半自主遥操系统可完成复杂工具操作和长程装配任务，在sim - to - real方法上有创新。
DeepSeek 模型技术之旅：从 V3 到 V3.2
本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进，对比了基座与推理模型，介绍了架构、训练方法变化，如 V3.2 结合 MLA 与 DSA，更新奖励和 GRPO 算法，还提及 V3.2-Speciale 扩展思考特性。
Gemini 3.5 Pro绝密泄露，前端赶超Fable 5！
全网被Gemini 3.5 Pro泄露刷屏，传闻7月17日发布。它在前端生成表现出色，一次成型、精准零失误，性能超Fable 5，但在硬核推理等任务上不如Fable 5和GPT - 5.6。谷歌为其重预训练，还准备对标GPT - Image 2的图像模型。
SAPO：让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。
在「外滩大会·具身智能：从泛化到行动，重塑产业未来」上，这些大牛都说了什么？
9月11日，机器之心联合出品的外滩大会见解论坛聚焦具身智能。多位学界和业界代表分享看法，如孙富春称训练场可破数据瓶颈，江磊指其是新型数据工厂。思辨和圆桌环节探讨技术路线、应用场景等关键问题。
【博客转载】CUDA Vectorized Memory Access （文末送书）
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽，实现朴素自定义设备内存拷贝函数，对比不同数据类型、大小及方法的性能，得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
斯坦福提出新的RL范式，让3B模型的Agent超越Claude、GPT-4
斯坦福提出新的RL范式，让小模型Qwen2.5 - 3B经训练后性能超越Claude - 3.5 - Sonnet等大模型。论文解决了RL在代理环境中可变时长动作优化偏差和稀疏奖励两大挑战，为AI代理发展指明方向。