「计算效率」共找到 1773 篇相关文章
3A大作!阿里ROLL团队从基建->算法->机理,推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架,推动「强化学习用于大语言模型(RL4LLM)」迈向新范式。Async架构提升GPU利用率,AsyPPO降低计算资源消耗,Attention机制提升训练效率与可解释性。
微信、清华连续自回归模型CALM,新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM,它将语言建模为连续向量而非离散词元,显著改善性能与计算成本权衡,解决了 LLM 效率瓶颈,虽面临技术挑战但实验效果佳,还指明未来研究方向。
华科校友在港冲刺AI infra第一股!已是中国最能赚的独立边缘云服务商,王小川天使轮就投了
PPIO派欧云作为独立分布式云计算服务商,是AI云计算服务先行者,近期在港交所递交招股书。它由华科校友创立,获王小川等投资,业务分边缘云与AI云计算,虽亏损但现金储备足,看好分布式云计算市场。
大部分token根本不该重复计算,不止于KVCache
斯坦福研究显示,AI Agent每次调用62%内容重复,现有前缀缓存虽有优化但天花板低,阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立,解决性能问题,其CacheBlend技术复用缓存,适配多引擎和存储后端。
不只DeepSeek,阶跃等开源JetSpec:大模型解码提速近10倍
近期,DeepSeek 推出 DSpark,阶跃星辰提出 JetSpec,都关注大模型推理效率。DSpark 关注验证效率,JetSpec 提高有效 Token 生成率。二者切入点不同,但都显示大模型行业进入新阶段,推理效率成 Agent 落地基础变量。
从计算到存储,阿里云打通AI落地的“任督二脉”
在8月14日飞天发布时刻,阿里云发布通用计算、容器计算及存储服务三项产品更新,串联出AI落地业务场景完整路径,引导行业重新思考AI时代云基础设施的本质。
SearchAgent-X: 打破效率桎梏,释放下一代「AI搜索智能体」的真正潜能
论文提出SearchAgent-X框架解决AI搜索智能体效率难题。研究剖析效率瓶颈,发现精度和延迟问题,提出优先级感知调度与无停顿检索技术,经评估大幅提升性能且不牺牲答案质量。
云计算“活教科书”语出惊人,指明程序员的进化方向
亚马逊云科技副总裁Jeff Barr被称云计算“活教科书”。他认为AI编程工具放大开发者技能,开发者应提升沟通能力,未来“短命应用”将涌现,云与AI结合是趋势,还见证了中国云计算发展的巨大进步。
南开 && UIUC | SearchAgent-X,打破「效率瓶颈」,让复杂「AI搜索智能体」走向现实
南开大学和伊利诺伊大学厄巴纳 - 香槟分校的研究提出SearchAgent - X框架,解决大型语言模型驱动的搜索智能体效率痛点。它剖析制约效率的原因,通过两大‘加速引擎’优化性能,实验显示效果显著。
3.4K星Apple出品FastVLM:视觉TTFT效率提升85倍,凭啥这么牛!
文章指出VLM在实际生产应用中因高分辨率图像存在效率问题,介绍Apple出品的FastVLM解决方案,阐述其架构、训练过程,展示在多个基准测试的性能,凸显在高分辨率输入下提升效率的优势及实际应用价值。