「稀疏语言模型」共找到 7877 篇相关文章
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
TACL 综述 | 别只卷架构了——长文本模型的能力天花板，其实是数据决定的
该 TACL 综述首次从数据视角审视长上下文语言模型，指出长上下文能力本质是数据驱动。它建立分类体系，明确高质量长文数据条件，给出核心能力的数据配方与评估法，还整理数据集和基准，提出待解问题。
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。
沈向洋解读AI演进五大维度！IDEA研究院发布“万物可抓取”模型，GPU渲染器打破国外垄断
沈向洋分享梳理智能演进的五个维度，包括算法范式、智能载体等，指出机会不仅来自技术本身。此外，IDEA研究院还发布“万物可抓取”DINO - X Grasp模型、MoonBit编程语言、GPU渲染器Smart等创新成果。
华为盘古大模型:被芯片牵制的“千古”模型
华为盘古大模型团队员工自曝内幕，称其受芯片限制，早期算力有限、训练困难。还指出内部存在造假、套壳等问题，如135B V2套壳Qwen 1.5 110B，pangu pro moe 72B套壳qwen 2.5的14b等，导致人才流失。
腾讯开源三大具身基座模型，首席科学家张正友详解“三层脑”如何破解机器人反应慢
WAIC 2026 期间，腾讯开源三款具身基座模型。首席科学家张正友称此前用 OpenClaW 调度机器人效果差，后设计 TairosAgent 框架。腾讯将具身智能拆成三层，配合具身智能体和框架构成完整矩阵，还解决语言信息不足等问题，并在工业和养老场景测试。
32B 稠密模型推理能力超越 R1？中国秘密 AI 团队发布推理小模型 AM-Thinking-v1
2025年，国内神秘A - M - team在Hugging Face开源32B推理模型AM - Thinking - v1。它在多推理评测中击败DeepSeek - R1，与超大规模模型成绩相当。团队靠后训练方案挖掘32B模型潜力，探索小体量实现大能力路径。
英伟达放话：小模型才是Agent的未来！
英伟达论文指出，当前用大模型构建AI Agent是资源浪费，提出小模型才是Agentic AI未来，给出三点理由，还提供从大模型迁移到小模型的六步流程，并分析三个开源项目，呼吁行业追求效能。
一文彻底搞懂 MCP：AI 大模型的标准化工具箱
MCP（模型上下文协议）是 Anthropic 于 2024 年 11 月开源的新技术，是 AI 大模型的标准化工具箱。它能让大模型与外界互动、获取信息、完成任务，整合 Function Call 标准，几乎所有大模型都可接入。
Mistral 3发布，14B多模态小模型表现优异
Mistral AI第三代模型发布，含三个小型密集模型和稀疏混合专家模型Mistral Large 3，全用Apache 2.0许可。有多项技术亮点，Ollama等支持部署微调，还给出实用配置建议。