「性能 - 效率权衡」共找到 2920 篇相关文章
搜索Agent最新高效推理框架:吞吐量翻3倍、延迟降至1/5,还不牺牲答案质量丨南开& UIUC研究
大语言模型驱动的搜索智能体有能力但效率低。南开和UIUC研究人员剖析效率瓶颈,提出SearchAgent-X框架,实现吞吐量提升、延迟降低,且不牺牲答案质量,还揭示AI智能体平衡和等待问题。
ChatGPT架构师,刚发布了最新研究成果
Thingking Machines发布第三篇研究博客,核心作者是OpenAI联创John Schulman。研究关于LoRA参数高效微调方法,探究其匹配全量微调效率的条件,给出简化调参方案,还提炼出三个核心发现。
致敬Kimi K2:基于slime的全流程INT4量化感知RL训练
受Kimi K2团队启发,SGLang RL团队落地INT4量化感知训练流程方案,在强化学习多方面取得进展,还在slime框架复现全流程方案,实现媲美BF16精度,提高Rollout效率,为社区提供开源参考。
ChatGPT上瘾,大脑萎缩47%!MIT祭出206页92图超长报告
麻省理工学院完成针对ChatGPT用户的首次大脑扫描研究,发现长期依赖大模型,学习能力下降、大脑受损,神经连接减少47%。AI提高效率或为误解,使用它是用长期思维能力换短暂效率。
英伟达力荐,小团队两个月开源一款「光速级」智能体推理引擎
智能体时代算力需求庞大,LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed,有 TensorRT LLM 性能、vLLM 易用性,受英伟达力荐且已开源,为智能体负载提供近「光速级」推理能力。
重磅发现!大模型的「aha moment」不是装腔作势,内部信息量暴增数倍!
中国人民大学等联合团队研究发现,大模型推理有“信息脉冲”,特定步骤互信息值飙升形成“互信息峰值”,对应“思考词汇”。基于此提出无需额外训练提升推理性能的方法,代码已开源。
腾讯开源智能体构建框架
腾讯开源智能体构建框架 Youtu-Agent,灵活高性能,验证性能出色,开源友好成本低。有自动智能体生成等亮点,适用于不同用户群体,涵盖研究、开发等场景,还介绍核心概念,附项目地址。
HBM更“热”了
HBM正从高性能计算领域向消费电子等市场渗透,技术迭代迅速。TSV等关键技术推动其性能提升,各企业技术路线有差异。应用领域广泛,但推广面临挑战。市场竞争激烈,各企业积极布局。
AI 智能体实践评估:基准、框架与经验总结
文章为将 AI 智能体从原型落地到生产环境的团队提供实用评估框架。指出传统评估不适用于智能体,介绍评估工具,阐述五大评估支柱,还给出基于 Claude 和 LangChain 的评估示例及实践经验。
智算,云厂商的下一个战场
随着大模型技术走向产业,企业需算存网数一体的高性能智算底座。领先云厂商积极升级能力,如腾讯云推出“云智算”,在计算、存储等方面布局迭代,还在多领域与企业合作,推动智算发展。