「成本节约」共找到 1516 篇相关文章
第二代InfLLM开源,同尺寸快三倍!零参数,可训练稀疏注意力
新智元报道,清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2,仅用5B长文本词元就能完成训练,相比稠密注意力机制有显著加速,性能接近传统稠密模型。
Reasoning模型可以Self-Train!
当前大模型依赖人类标注数据,成本高且扩展难。论文探讨模型自我纠错、自主进化可能,提出自我奖励训练(SRT),用投票共识代替人类标注。在数学数据集上有效果,但高难度数据集出现问题,作者给出解决办法并开源代码。
Anthropic最新博客:MCP没有死,我们又救活了。
2个月前Eric Holmes认为MCP已死,因其有Token成本等问题且LLM本就会用命令行。但本周Anthropic发博客称想清MCP定位,它不是替代CLI,而是覆盖其到不了的地方,还给出改进方案,MCP月下载超3亿次。
为什么GPT-5算得出微积分,却数不清积木?
文章对GPT - 5展开系统化空间能力测评,涵盖8个基准、超10亿token成本。提出“空间智能六维图谱”,发现GPT - 5在MM和SR达人类水平,但MR、PT等方面有短板,还揭示闭源与开源模型在复杂任务上差距小等情况。
只需一次指令微调,大模型变身全能专家天团,8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本,稀疏混合专家架构虽能提升推理效率,但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE,单阶段微调就能升级大模型,还解决传统方法两大局限,在性能和效率上双突破。
突发!Fable 5.1遭黑客破解,27万字提示词泄露
Fable 5.1和Mythos 5.1发布,Fable 5.1推理成本低32%。但发布几小时后被破解,27万字提示词泄露,曝光了其安全限制、隐私保护等秘密。它工具增加,还破解密码、能完成多种任务,不过也有用户抱怨耗token等问题。
都在卷「让大模型多循环几遍」,这个7B模型LoopCoder v2说:多循环 1 次就够了
当下推理模型流行在测试时多循环,以打磨答案。但新研究发现,7B模型LoopCoder v2只多循环1次(共2次),就能大幅提升性能,继续增加循环次数,性能反而下降。研究还分析了收益与成本,给出选择循环次数的诊断方法。
作业帮Flink On K8s落地实践
本文分享作业帮2025年Flink on k8s的探索与实践,包括选型思考、平台架构演进等关键内容。介绍了历史on Yarn模式的问题,阐述选型Flink K8s Operator模式的原因,还提及任务状态观测、环境资源成本等,分析核心问题并给出解决方案。
火山引擎 veFuser:面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破,但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架,能在图片和视频生成上实现低延迟、低成本的高质量体验,且未来会持续迭代。
Agent从一问一答到自主执行面临哪些挑战?
随着AI发展,Agent正从答疑助手走向自动执行任务的数字人,定时调度是其走向自主运行的关键。开源Agent定时任务存在无高可用、运维成本高、权限管理弱等痛点,阿里云MSE AI任务调度有高可用、统一管理等优势,现免费公测。