「推理加速技术」共找到 4926 篇相关文章
阿里云Tair KVCache仿真分析：高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim，这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能，支撑计算选型、存储规划和调度协同等决策，还介绍了其架构、组件、验证及性能评估等内容。
多模态AI黑马刷榜后再造神器：一个产品搞定图片视频播客生成，自带百种特效，大牛梅涛团队出品
AI大牛梅涛创立的智象未来公司推出vivago2.0（智小象AI），支持图片、视频、播客生成，有上百种特效模板，生图还能自动优化prompt。其依托HiDream - A1，结合HiDream - I1和HiDream - E1能力，团队技术实力强且融资顺利。
小扎万字檄文炮轰硅谷，Meta重磅开源30B小钢炮！一台MacBook就能跑
Meta发布全新30B大模型Muse Glimmer并开源，用4-bit量化等技术让其能在本地设备运行，有五大核心超能力且采用Apache 2.0协议。同时，Meta CEO小扎发表万字檄文暗讽OpenAI等，抨击AI末日论等观点。
从MiniMax到DeepSeek：为何头部大模型都在押注「交错思维」？
昨日推特博主公布国内几大开源模型在 mini - SWE - agent 测试成绩，MiniMax 新一代大模型 M2 表现最佳。其采用的「交错思维」技术成亮点，解决了状态漂移问题，正成高性能 Agent 模型标配。M2 既强又省，还给出使用最佳实践。
蚂蚁Ring-1T正式登场，万亿参数思考模型，数学能力对标IMO银牌
10月14日凌晨，蚂蚁万亿级思考模型Ring-1T正式登场，这是全球首个开源的万亿参数思考模型。它在多项基准测试中表现出色，数学能力达IMO银牌水平，还展示了强大的代码、推理、写作等能力，其背后是IcePop算法与ASystem框架的支撑。
飞轮“倒转”，灵巧手厂商困在夹缝里
2024年具身智能焦点转向灵巧手，初创公司遭上下游夹击。技术远未成熟价格战却已升级，投资者押注最AI、最像人手、最早量产。但智能不足、应用场景不明确，降本成唯一共识，行业陷入“降本缺规模”死循环。
AI眼镜：又怕小米做，又怕小米不做
过去一年AI眼镜产品密集落地，小米和Rokid跻身全球出货量前三。市场处于“又怕小米做，又怕小米不做”的微妙氛围，大厂试水但未全力投入，给中小厂商留下建立技术壁垒的窗口期，显示技术或成首个分水岭。
三大头部互联网企业交锋，AI时代可观测边界出现了吗？
InfoQ《极客有约》X AICon 直播栏目邀阿里云张城等探讨AI时代可观测新边界。嘉宾们认为AI与可观测技术双向赋能，传统算法与大模型互补，未来有望实现半自治运维，还分享了数据治理等经验。
手握30亿、被蚂蚁狂挖人，转型被骂惨的王小川，真的翻身了？
在大模型竞争中，2023 年成立的百川战略收缩聚焦医疗，起初内外存疑。2025 年，AI 医疗技术与应用进展显著，今年初大厂入局。百川如今开源 Baichuan - M3 模型，王小川认为医疗已入应用阶段、多模态非主战场，且国内 To C 更好。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。