「推理技术栈」共找到 4663 篇相关文章
最新W4A4KV4全量化框架，单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。
一个超级搜索Agent开源，超低成本拉满搜索推理能力！小参数、慢思考。
MiroThinker 1.5发布，打响2026年AI模型进步第一枪。它以小参数实现高性能，解决信息雾霾、AI幻觉、决策无力等问题，通过交互式扩展和时序敏感训练沙盒技术，展现强大搜索推理能力。
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。
DPad: 扩散大语言模型的中庸之道，杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型（dLLMs）有全局规划能力，但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”，提出免训练方法DPad，结合现有技术，能在几乎无损精度下实现高达61.4倍推理加速。
高通新款云端芯片公开！借推理抢英伟达蛋糕，市值一夜暴涨197.4亿美元
高通宣布推出AI200和AI250两款全新AI芯片进军数据中心市场，消息使股价一度飙升超20%。新品聚焦推理阶段，主打低TCO、高能效与强内存处理能力，还推进端到端软件栈。高通早有布局，已获订单。
1美金时薪雇个全栈替身，MiniMax M2.5让打工人也能体验当老板的感觉
春节档模型大战，MiniMax官宣新模型M2.5，主打智能体和Vibe Coding，性能比肩Claude Opus 4.6。它全栈能力强，能处理长链路任务，推理吞吐量高、成本低，已接管MiniMax 30%真实业务。
小米的首代机器人VLA大模型来了！丝滑赛德芙，推理延迟仅80ms丨全面开源
具身机器人成科技新热点，大家期待其释放生产力。小米首代具身VLA大模型Xiaomi - Robotics - 0抓间歇停顿问题，4.7B参数规模下推理延迟仅80ms，还做三项技术创新，且全面开源。
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
Meta发布Muse Spark，MSL的首份答卷！Alexandr Wang通过了吗？
Meta发布Muse Spark，是MSL首个模型，经九个月技术栈重构，效率优先。它有原生多模态推理能力，Contemplating模式处理复杂查询，安全评估突出，产品功能升级，商业化转向明显，正逐步在Meta应用推出。