双层效率优化框架」共找到 2272 篇相关文章

产品应用8

Harness Engineering: C 端 AIGC 内容生产自优化实践

文章介绍蚂蚁保保险快查深度解读页面生成系统(DIPG),它将Harness思想用于C端AIGC生产链路。DIPG采用‘离线生成+校验+刷入DB’模式,解决LLM实时生成时延和质量问题,还阐述多Agent协作、校验机制及回灌流程等。

阿里云开发者
算法论文8

图谱检索全面 or 效率?蚂蚁&浙大Deep GraphRAG:全都要

传统 RAG 遇复杂 Query 易失效,GraphRAG 带来新三难。蚂蚁与浙大提出 Deep GraphRAG,有层次化检索、Beam - Search 重排、DW - GRPO 强化学习三板斧,实验显示其性能优、延迟低。

PaperAgent
开源动态8

千星项目LLMRouter:多模型路由,16+策略优化推理

UIUC开源智能模型路由框架LLMRouter,可自动为大模型应用选最优模型,有16+路由策略。该框架打通训练、评测等链路,解耦Route与Training模块,支持多轮协同等,还可插件式扩展。

新智元
算法论文7

谈一谈TP推理场景下MoE Group GEMM的优化思路

作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。

GiantPandaLLM
推荐文章8

Anthropic官方解密:3招上下文优化,破解Agent性能暴跌

本文是Anthropic官方文章翻译,从提示词工程拓展到上下文工程,阐述其构建方法。介绍上下文工程对构建智能体的重要性、上下文构成,还提及上下文检索、智能体搜索及长期任务的上下文工程解决方案。

AI产品自由
开源动态8

DeepSeek开源的文件系统,是如何提升大模型效率的?

2月28日,DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势,深入解读3FS的组件、CRAQ协议等,还探讨其与其他系统差异及性能相关问题。

机器之心
产品应用7

Agent效率X10,ClaudeCode/Codex 专属的文件管理Agent:Agentfile

Claude Code创始人用多Claude并行开发,作者受启发做了Agentfile。它能将项目文件夹变为标签页,便于切换,从Wave改进而来,轻量且适合承接HTML结果,是Skill驱动的Agent,定位为多Agent工作流收口台。

AI产品自由
产品应用7

神秘模型「大象」:仅100B拿下SOTA,Token效率超高!

神秘模型「大象」面纱揭开,它出自蚂蚁Inclusion AI团队,仅100B大小,是同规模SOTA且省Token。经多方面实测及权威榜单评测,它快、准、省,能胜任多数日常工作,但也有不擅长的领域。

量子位
算法论文8

AEPO:智能体熵平衡策略优化,让探索更稳,推理更深!

中国人民大学与快手团队联合提出 AEPO 算法,解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制,在 14 个基准上优于主流算法,在 X 等平台获高关注。

机器之心
产品应用8

黄仁勋100万亿预言兑现!易鑫Voice Agent落地,汽车金融迎效率革命

2024年GPT - 4o问世后,Voice Agent创业公司涌现,但通用方案在金融等场景「水土不服」。易鑫深耕汽车金融,自研工业级Voice Agent系统,采用Model + Harness方法论,实战数据亮眼,还将向泛金融领域延伸。

新智元