「UCSD研究团队」共找到 4637 篇相关文章
总成本降低30倍，告别昂贵后训练，在线策略蒸馏敲开大模型后训练的未来
明星公司Thinking Machines由前OpenAI首席技术官联合创立，其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势，解决后训练两难困境，成本降30倍，还为持续学习和个性化打开新大门。
Meta提出Deep Think with Confidence：几乎啥都不用动，就能提升推理的准确性与效率
传统自一致性方法虽能提升推理准确率，但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence（DeepConf），可在不增训练成本和不调超参数下，提升推理准确性与效率，本文对其全面解读。
首创Mid-training范式破解RL奥秘，Llama终于追平Qwen！
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。
VLM 实现 10%的精度提高，13.1倍加速！纽约大学新算法让视觉语言模型更小、更快、更准确
纽约大学研究团队用QSVD新方法让视觉语言模型（VLM）效率飞跃，在普通GPU上实现13.1倍加速。它将Q、K、V矩阵捆绑处理，设计秩分配策略，引入量化方案，经多模型评估，展现出低硬件成本、高精度优势。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。
a16z：AI 产品初期用户流失高很正常，M3 留存才是评估 PMF 的关键
a16z研究团队分析数百家AI企业后发现，将衡量用户留存率基准点从M0后移至M3，能更清晰评估PMF和GTM策略。AI产品留存曲线分获客、留存、扩张三阶段，M12/M3比率是预测长期留存关键指标。
Agent记忆系统：6大核心操作全景解读
自LLM进入Agent时代，记忆模块成研究重点。以往研究有缺憾，作者提出全面AI记忆研究框架，对记忆表示分类，引入六种基本记忆操作，并映射到多方面，还阐述各部分具体方法。
「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！
本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。
陶哲轩经费被断供，在线发帖自证数学有用
菲尔兹奖得主陶哲轩就职的UCLA科研经费被冻结，个人研究及应用数学研究所IPAM失去资金支持，还遭网友质疑其学术成果价值。他开新帖以“压缩感知”研究为例，力证数学研究回报，并将视野扩展到AI大模型。