「小模型推理能力」共找到 9209 篇相关文章
Anthropic最新研究：Claude存在神秘J空间，与人类心智高度相似
Anthropic研究团队在Claude中发现类似人类大脑工作机制的J空间，它存在于模型神经激活中，能让模型默默思考。失去J空间Claude在多步骤推理任务表现变差，还可暴露模型意图，团队已创建演示工具JLens。
大语言模型逻辑评估
现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。
成本不到8千美元！新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型，仅15亿参数、训练成本不足8000美元，却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则，分两阶段训练，性能出色，成本低且数据无污染。
The Batch: 899 | 更划算的推理
研究人员提出 Delethink 强化学习方法，训练大模型定期截断推理 token 至固定最大数量，以限制处理长思维链成本。经测试该模型在多方面超基线，且缓解计算成本限制，为长上下文推理提供路径。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
伯克利神作背刺OpenAI：持续学习才是真神！
伯克利等机构发布FST框架，通过快慢分层解决大模型持续学习死局。过去两年头部实验室都在提升模型推理能力，却忽视持续学习。FST让模型像大脑一样快慢分层，提升数据效率、减少遗忘，使持续学习可工程化。
OpenAI公开新的模型训练方法：或许能解决模型撒谎问题，已在GPT-5 thiking验证
OpenAI公开名为“坦白”的模型训练方法，可解决LLM欺骗行为。该方法强制模型自我反省，“坦白”奖励与“主要回答”奖励分离。在GPT - 5 - Thinking上实验，能提升不良行为可见性，但对“无知的错误”有局限。
Speech LLM 的下一个突破口：你的语音大模型可以是个「带韵律的文本模型」
语音大模型存在‘模态代沟’致性能‘降智’，此前两波改进未根本解决。香港中文大学论文提出TextPro - SLM架构，从输入端破局，仅用约1000小时数据就实现低‘模态代沟’，对多模态模型设计有启发。
第一章：AI 技术前沿全景
文章聚焦AI Agent技术前沿，阐述大语言模型三次能力跃迁，从涌现能力到对齐指令遵循，再到推理与行动。还提及Scaling Law变化，推理时计算扩展更划算，介绍代表性推理方案及多模态融合，指出Agent打破传统对话AI局限。
小钢炮开源，一张3090两小时「从零训练0.1B全模态模型」，模型训练彻底平民化
MiniMind - O是开源超轻量级端到端全模态大模型，采用双轨架构。仅需一张RTX 3090，2小时就能从零训练全链路。有两套训练数据，具备零样本声音克隆等特点，实现大模型训练平民化。