扩展策略」共找到 1316 篇相关文章

推荐文章8

KV-Cache 实战策略:生产环境中的分页、固定与复用技术解析

在大语言模型推理场景中,KV - Cache 是平衡性能与成本的核心技术,但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术,结合原理、实践与案例,为开发者提供解决方案,还探讨了未来演进方向。

CourseAI
推荐文章8

大模型推理加速全链路:内存管理、编译优化、量化与并行策略

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。

InfoQ
算法论文8

YC总裁转发、登顶Hacker News:SkillsBench揭开Agent技能扩展的残酷真相

近日论文《SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks》引发海外AI社区关注。研究聚合47150个Skills,经严格筛选评估,揭示人工构建Skills效果好、AI自生成无效等核心发现,为AI研发指明路径。

机器之心
新闻资讯7

每周产业洞察 | AI视听内容工业化:阶段性风口下的行业应对策略

北京AIGC视听产业创新中心位于朝阳东坝,是朝阳区推动影视制作基地建设的举措。由多方参与,首创郎园负责运营,提供六大服务平台,截至2025年8月汇聚60余家生态伙伴,首创郎园业务多地开花。

郎园Station
新闻资讯7

从 Hadoop 到 Kubernetes:Pinterest 在 AWS EKS 上的可扩展 Spark 架构

Pinterest将基于Hadoop的数据平台替换为Moka,这是在AWS EKS上运行Spark的Kubernetes原生系统。Moka实现容器化作业隔离,支持ARM实例,改进调度、简化部署,降低成本、提高效率。

InfoQ
算法论文8

你写的Skill,正在拖慢模型?策略式Gene才是正确答案

EvoMap团队与清华围绕‘Skill拖慢模型’问题研究,提出‘Gene’概念。经实验,Gene在控制模型表现上优于Skill,还定义了GEP协议。其成果在CritPt基准测试表现出色,为Agent经验复用提供新方向。

机器之心
算法论文8

56倍加速生成式策略:西交大提出EfficientFlow,迈向高效具身智能

生成式模型在机器人和具身智能领域面临训练依赖大量数据、推理慢的问题。西安交通大学团队提出EfficientFlow,融合等变建模与高效流匹配,提升数据效率,压缩推理迭代步数,在多基准实现SOTA,推理提效显著。

机器之心
算法论文8

ICML 2026 |让大模型边想边说:这篇文章把「何时开口」变成可学习策略

论文《When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning》针对推理模型的‘沉默税’问题,提出Side - by - Side(SxS)Interleaved Reasoning,将‘何时披露内容’变为可学习决策,经实验验证效果良好。

机器之心
7

Cloudflare 选择 PostgreSQL 扩展而不是专用的 OLAP 来进行 100K 行 / 秒的分析

Cloudflare工程团队解释选TimescaleDB而非ClickHouse为内部平台增分析报告功能的原因,强调存储分析与配置数据简单性和专用OLAP系统性能的“惊人平衡”,介绍了项目发展及TimescaleDB优势。

InfoQ
算法论文8

谷歌分布式训练开启另一轮扩展定律!百万芯片高压高故障仍然零全局停机

谷歌Decoupled DiLoCo研究打破大模型训练锁步模式,让集群各部分异步汇合。模拟数百万芯片高压训练时零全局停机、性能无损,还能提升系统有效工作时间,有算力撷取和异构计算等红利。

AIGC开放社区