「动态训练策略」共找到 3064 篇相关文章
压缩之外,Visual Tokenizer 也要理解世界?
MiniMax和华中科技大学发布视觉tokenizer新研究VTP,引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示,提出在预训练中引入语义理解,还发现Scaling Law现象,虽有争议但为研究提供新视角。
Meta超级智能实验室又发论文,模型混一混,性能直接SOTA
大语言模型训练依赖算力和时间,传统模型 Souping 多采用均匀平均。Meta 等研究者提出类专家 Soup(SoCE),利用基准测试类别构成选最优模型,非均匀加权平均,实验显示其提升了模型效果与稳健性,在排行榜获 SOTA 成绩。
腾讯发布SpecExit算法,无损压缩端到端加速2.5倍!解决大模型长思考效率难题
腾讯发布 SpecExit 算法,将思考早停与投机采样融合,利用轻量级草稿模型预测“退出信号”,在不引入额外探测开销的前提下,实现动态、可靠的思考早停,在 vLLM 上推理端到端加速 2.5 倍,准确性和推理效率得到双重保障。
小米小爱同学:资源受限下,实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰,了解其团队在资源受限的端侧设备实现大模型高性能推理的策略。目前端侧大模型商业化落地慢,团队提前布局,自研框架,实现超180 tokens/s推理速度,还分享未来突破方向。
2025-04-努力不是做好事情最重要的因素
作者分享个人生活、工作等多方面情况,提及播客发布,认为努力非工作做好的关键因素,深入探讨Agent在业务应用中的问题,还谈及视频更新、投资经历等,最后表示要审视目标、精简事务。
Anthropic 联创:2028 年实现 AI 自我构建的概率超过 60%
Anthropic 联合创始人 Jack Clark 发长文称,到 2028 年底,AI 实现端到端自动化研发概率超 60%。他分析多维度测试数据,指出 AI 在代码、科研、自我训练和管理等方面能力提升,也探讨了成真后的影响,但遭黄仁勋和陶哲轩质疑。
深度访谈:阿里云X平头哥,模型推理提升13倍背后的秘密
这篇深度访谈聚焦阿里云与平头哥,探讨模型推理提升13倍背后的秘密。随着AI焦点转向推理,行业面临算力、成本、监管等矛盾。嘉宾分析推理范式现状与变化,探讨推理加速技术及优化策略,还谈及瓶颈、未来发展及竞争方向。
Prompt、Skills、MCP:大模型上下文工程核心链路
文章聚焦大模型上下文工程,介绍了Prompt、Skills、MCP核心链路。Prompt是与模型沟通基础,但其有脆弱、难管等痛点,促使向上下文工程演进;Skills是能力单元,可显式化能力、动态组合;MCP解决能力集成问题,虽有争议但理念重要。
西湖大学修宇亮:数字人重建,慢慢都会变成基础模型的微调任务 | GAIR 2025
12月13日,西湖大学修宇亮在GAIR 2025分享数字人重建进展。其团队成果UP2You将建模时间从4小时缩至1.5分钟;ETCH获更准确内部人体结构;Human3R可实时动态重建人物场景。他认为未来数字人重建将成基础模型微调任务。
超越GPT-4o!华人团队新框架让Qwen跨领域推理提升10%,刷新12项基准测试
加拿大滑铁卢大学与TikTok新加坡的华人团队提出全新训练框架General - Reasoner,让Qwen系列大模型跨领域推理准确率提升近10%,在多项基准测试中超越GPT - 4o。该框架有全领域推理数据集和生成式答案验证器两大创新。