搜索：推理可解释性

「推理可解释性」共找到 5669 篇相关文章

27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM

当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。

谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。

SpaceX官宣与Cursor合作，打造编程和知识工作AI。Cursor授予SpaceX今年晚些时候以600亿美元收购的权利，或支付100亿合作费。Cursor增长快但无自研模型，合作可助其训练模型。此外还介绍了编程AI市场竞争情况。

阿联酋穆罕默德·本·扎耶德人工智能大学与G42公司联合推出开源AI推理系统K2 Think，基于Qwen 2.5 - 32B模型。它靠六项技术性能出众，在多领域测试成绩好，还以小参数量媲美大模型，且全面开源。

文章围绕本地大语言模型（LLM）展开，针对实用性和经济性问题，用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等，给出不同配置下性能指标及使用建议，还模拟真实场景测试。

推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。

阿里万相2.6系列模型上线，成为业界功能最丰富的视频模型，是全球唯二、国内首个具备角色扮演功能的模型。其音画一体，能生成15s长视频，指令遵循能力强。还可将提示词转换为多分镜脚本，团队公开了提示词公式。

深度跃迁发布世界动作模型 DELE - w0.5，放弃基于视频生成模型的路线，训练时联合学习动作与未来世界表征，推理时移除该表征分支。在真机实验中表现超基线，具跨背景泛化能力，为世界模型提供新思路。

小红书人文智能实验室（hi lab）低调开源视觉语言模型dots.vlm1。该模型基于自研视觉编码器构建，在视觉理解和推理任务上接近SOTA水平，实测表现惊艳，还介绍了其技术架构、预训练数据布局等内容。

文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。