吞吐量提升」共找到 2951 篇相关文章

推荐文章7

93%的人在用AI,为什么生产力只提升了10%——两个被严重低估的杠杆

Stack Overflow 2024年调查显示93%开发者用AI辅助工具,但DX Research研究表明生产力仅提升约10%。文章指出多数人用AI是线性叠加,真正的乘数效应来自自闭环验证和长期记忆,还分析误区并给出实践路径。

AI Reading Hub
开源动态7

DeepSeek开源,Agent能力大升级,剧透2026!

DeepSeek昨晚更新并开源V3.2正式版及长思考增强版V3.2-Speciale,亮点是Agent能力进化。一年来它未增模型规模,靠架构优化等提升性能、降低成本,坚持自我路线很稳,V3.2继续提升能力。

探索AGI
产品应用8

腾讯混元AI Infra如何优化Hy3 Preview:一次大模型推理性能提升的技术拆解

文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度,剖析技术思路、算法及收益,如Attention算子单batch长文本最高加速2.95x,还提及后续显存优化等工作。

腾讯技术工程
推荐文章8

斯坦福大模型推理课免费了,谷歌推理团队创始人主讲

谷歌DeepMind推理负责人Denny Zhou在斯坦福大学CS25讲“LLM推理”课。大模型推理是给出答案前的中间思考步骤,能让复杂问题可解、提升答案准确性。还介绍了让模型输出推理答案的方法及提升推理能力要点。

量子位
新闻资讯7

顶模 Fable 5.1发布,到底强了多少?

昨晚,Anthropic发布Fable 5.1和Mythos 5.1,这代沿用Fable 5参数,性能提升聚焦长任务,还降低缓存读取价。它在游戏、视频等多个领域表现出色,与同类模型对比进步明显,虽价格贵,但能力、速度有提升

鲸选AI
产品应用8

0.3B参数,600MB内存!腾讯混元实现产业级2Bit量化,端侧模型小如手机App

腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit,参数量仅0.3B,内存占用600MB。它基于产业级2Bit端侧量化方案,生成速度提升,还通过多种方法提升能力,未来将探索新技术缩小与全精度模型差距。

量子位
算法论文8

GUI定位还在玩「非黑即白」?浙大团队提出GUI-G²,显著提升GUI智能体定位性能

在人工智能领域,GUI 智能体成技术风口,但现有 GUI Grounding 方法有缺陷。浙大团队提出 GUI - G²,将 GUI 交互转变为连续空间建模,在三个主流 GUI 定位基准测试中表现亮眼,重新定义了 GUI 交互本质。

机器之心
算法论文8

全新预训练数据筛选方案,让数据效率提升10倍!配置仅需fastText评分器|港科大vivo出品

香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect,已被ICML 2025接收。它只需训练部署基于fastText的评分器,减少10倍计算需求,在多数据集实验中效果显著优于其他方法。

量子位
新闻资讯8

对谈 Chai-2 核心科学家乔卓然:抗体生成成功率提升百倍,分子生成平台是药物研发的 GPU|Best Minds

文章访谈 Chai Discovery 创始科学家乔卓然,探讨 Chai-2 设计理念与行业意义。Chai-2 能零样本生成活性抗体,成功率提升百倍,将开发周期从数月缩至两周。未来分子生成平台或成药物研发的 GPU,合成数据将成“第三模态”。

海外独角兽
算法论文7

ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT:近乎无损 超越KIVI,内存减6.4倍 吞吐量提2.3倍

LLM生成文本时KV Cache内存占用高,限制模型批量处理能力。论文提出OTT方法,动态追踪异常令牌单独高精度保存,其余压缩。实验显示,它准确性高、效率好,不过在极短文本等场景有局限。

深度学习自然语言处理