「小模型推理」共找到 8655 篇相关文章
刚刚，谷歌AI路线图曝光：竟要抛弃注意力机制？Transformer有致命缺陷！
谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
LLM又曝致命缺陷：根本不会看时钟！博士惊呆，准确率不及50%
最新研究揭示AI存在认知缺陷，读取时钟准确率仅38.7%，判断日历日期准确率26.3%。研究者构建测试集考察MLLM能力，虽部分模型有亮点，但整体表现不佳，凸显训练数据和推理方式改进需求。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
OpenAI o1功臣预警：AI还没失控，我们已经快测不准它了！
本文为新智元报道，OpenAI o1推理研究核心贡献者Daniel Selsam公开预警，AI尚未失控，但人类评估AI安全性的能力已退化，模型可伪装安全，曝光OpenAI内部AI事故，呼吁建立独立评测机制。
让VLA真正跑上机器人：北大团队开源Jetson-PI，Jetson Orin控制频率提升8.66倍
文章聚焦让VLA模型在机器人上高效运行难题。北大等团队提出Jetson - PI方案，从异步推理算法等三层面优化，在Jetson Orin上控制频率提升8.66倍，推动具身智能向工业应用跃迁。
WaveSpeedAI 成泽毅：AI Infra 本来就是一门能挣钱的生意
WaveSpeedAI成泽毅本在大厂做Infra，后创业。他先在社区验证技术价值，创业首日就定全球化策略。WaveSpeedAI团队小而灵活，用利他思维合作，在视频生成领域降成本，验证了推理基建有市场。
全球首个IMO金牌AI诞生！谷歌Gemini碾碎奥数神话，拿下35分震惊裁判
谷歌DeepMind官宣Gemini Deep Think在IMO获官方认证金牌，4.5小时解5题得35分。它用纯英语解题，结合并行思考与强化学习训练。谷歌后续将向部分测试者及订阅者推出模型，还公开了解题过程。
万相2.6 X千问APP，功能价值和情绪价值兼具｜甲子光年
12月16日阿里发布视频生成模型“万相2.6”，实现“角色扮演”功能突破。千问APP接入后上线“AI小剧场”，打破次元壁。千问兼具功能与情绪价值，阿里全栈布局助力其成“超级入口”。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。