混合推理架构」共找到 3640 篇相关文章

算法论文7

DeepSeek们越来越聪明,却也越来越不听话了。

论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction - Following in LLMs》用实验验证,模型推理能力变强时,提示词遵循能力变差。研究团队对15个模型测试,发现用CoT推理后执行准确率下降,还提出4种提升指令遵循效果的方案。

数字生命卡兹克
开源动态8

单目3DGS迎来突破:影石开源UniSHARP实现全相机适配

影石研究院发布单目新视角合成模型UniSHARP,可通过单次推理秒级获场景高斯点云,支持混合相机训练与免标定推理,适配所有相机。团队还构建数据集、设benchmark,代码等均已开源。

机器之心
开源动态8

黑森林FLUX.2 Klein开源,亚秒级高质量图像生成和编辑,普通电脑就能跑

黑森林实验室发布开源的FLUX.2 Klein模型家族,是紧凑架构,将高质量图像生成与编辑速度压缩至亚秒级,在消费级显卡实现旗舰性能。其统一架构打破生成与编辑壁垒,还与NVIDIA合作优化。

AIGC开放社区
新闻资讯8

AI秒破18世纪「天书」账本!谷歌新模型盲测刷屏全网

谷歌AI Studio上一神秘模型引发关注,它识别200多年前商人的「天书」账本,修正格式错误与模糊表述,推理能力令历史学家震惊。该模型解决手写识别和推理两大难题,或为谷歌将推的Gemini - 3。

新智元
算法论文8

谷歌新论文把内存股价干崩了!KV cache压缩6倍,“谷歌的DeepSeek时刻”

谷歌研究院推出TurboQuant压缩算法,可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失,还能8倍加速计算。虽引发存储芯片巨头股价下跌,但目前只是实验室成果,仅解决推理阶段内存问题。

量子位
推荐文章7

具身智能中的 VLA 技术及其应用

文章围绕具身智能中 VLA 技术展开,介绍其现状、挑战、架构、数据方案及部署等内容。指出 VLA 虽推动具身智能发展,但面临数据、模型结构等挑战,还探讨了不同架构优劣及未来探索方向。

InfoQ
新闻资讯7

AI 设计9个月就能媲美Blackwell?OpenAI “辣芯”绕开英伟达正面战场,但老黄的GPU大盘不稳了

OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño,性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署,是多代芯片开发首步。它专为大模型推理设计,设计周期短,成本低,OpenAI 借此扩展全栈能力。

InfoQ
算法论文8

逆天!Mata用13个参数26字节让模型正确率从76%飙升至91%

Meta等机构研究人员发布TinyLoRA极致微调技术,配合强化学习,能在几乎不改变大模型原有结构下,用极少数参数激发其推理能力。该技术在数学推理上表现出色,还探索了参数共享策略和存储精度问题。

AIGC开放社区
开源动态7

vLLM 新特性:批量大小不再影响模型输出

vLLM 推出批量不变推理功能,解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致,技术实现含三部分,虽有性能开销但换来了结果确定性。

AI工程化
新闻资讯8

她们估值840亿,刚发了第一个AI成果

估值超120亿美元的Thinking Machines发布首篇研究博客,由创始人、OpenAI前CTO Mira Murati宣发。研究聚焦克服大语言模型推理中的不确定性,探讨推理结果难复现的根源,还介绍解决办法并验证效果。

量子位