成本优化」共找到 2573 篇相关文章

算法论文7

谈一谈TP推理场景下MoE Group GEMM的优化思路

作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。

GiantPandaLLM
推荐文章8

Anthropic官方解密:3招上下文优化,破解Agent性能暴跌

本文是Anthropic官方文章翻译,从提示词工程拓展到上下文工程,阐述其构建方法。介绍上下文工程对构建智能体的重要性、上下文构成,还提及上下文检索、智能体搜索及长期任务的上下文工程解决方案。

AI产品自由
开源动态7

DeepSeek Harness规模化踩坑实录:耗时、成本、失败到底该怎么查

Agent 进入日常研发流程后,使用方关注耗时、Token 消耗和失败回溯。DeepSeek Harness(DSH)是开源 Agent 框架,腾讯云 Agent 可观测提供 DSH 采集插件,构成全景可观测方案,还介绍接入实践与其他能力。

腾讯技术工程
新闻资讯8

成本砍半!国产黑马攻破机器人「瘫痪」难题,大厂纷纷上车

深圳机器人产业生态优越,产业链完整。小象电动聚焦轴向磁通路线,实现技术突破,累计出货近7万台,进入华为等大厂供应链,完成超亿元融资,体现深圳产业链整体优势。

新智元
算法论文8

AEPO:智能体熵平衡策略优化,让探索更稳,推理更深!

中国人民大学与快手团队联合提出 AEPO 算法,解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制,在 14 个基准上优于主流算法,在 X 等平台获高关注。

机器之心
算法论文7

直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点?

论文提出 SwS 框架,针对强化学习场景,利用模型自我感知弱点驱动自动化问题生成,合成针对性训练数据。还对其进行多项扩展,在多个基准测试集和模型上验证有效,性能提升显著。

深度学习自然语言处理
算法论文8

AI自动写学术综述:10分钟生成6万字,成本不到四块钱

上海人工智能实验室等单位提出SurveyForge框架,能自动化生成高质量学术综述论文。它有双数据库协同驱动的大纲生成机制、学者导航代理SANA和并行生成与协调机制。还有SurveyBench评估框架,实验显示其效果好,应用前景广。

量子位
产品应用8

Claude上线Prompt缓存诊断功能,终于不用盲猜token成本暴涨的原因

Claude宣布Prompt缓存诊断功能登陆控制台,可解决缓存失效排查痛点。此前开发者排查效率低,新功能能显示变动位置与token损耗。目前处于beta阶段,介绍了使用方法、支持的失效原因及功能限制等。

AI工程化
开源动态8

Identity-GRPO:阿里开源多人物定制化视频生成的后训练优化算法

阿里团队提出Identity - GRPO算法解决多人物视频生成身份一致性问题。构建约15000个标注样本数据集,基于Qwen2.5VL设计奖励模型,多项策略增强训练稳定性,实验验证性能提升显著。

PaperAgent
新闻资讯7

解道奥赛题成本5000美元?陶哲轩警告,AI下一步要规模化的「更便宜」

谷歌新一代 Gemini 进阶版在 IMO 竞赛达金牌水平,华人数学家陶哲轩对此关注且担忧。他认为评估 AI 表现应谨慎,AI 发展需从定性转向定量,要‘降本增效’,未来标准化评测很重要。

机器之心