「混合注意力模型」共找到 7801 篇相关文章
小模型推理极限在哪里？微博开源3B小模型，比肩顶级闭源
微博新开源的VibeThinker - 3B小模型，将特定能力维度性能推向极限。它在数学竞赛、编程等可验证推理基准上表现优异，成绩直逼顶尖大模型。其训练流程层层叠加，还提出参数压缩 - 覆盖假说。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
安全垂类小模型效果能超过大模型？看看以色列Novee的效果
跟踪AI渗透测试等开源应用发现，通用大模型成本高、功能受限。以色列Novee融资5150万美元并发布4B小模型，测试效果超Claude 4 Sonnet。其靠两阶段训练和浏览器反馈提升能力，有投资说明有价值。
阿里新研究：统一了VLA和世界模型
阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。
翁荔创业大模型首秀！告别“120亿美元估值0模型”
Thinking Machines Lab发布首个模型TML - Interaction - Small，联合创始人翁荔演示。该模型让实时交互成原生能力，响应延迟比GPT - realtime - 2.0快4倍，解决了多数AI“回合制”问题，还介绍了实现机制和公司过往情况。
用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升
扩散大语言模型发展迅猛，或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文，提出高效解码策略与强化学习训练组合，解决MDLM解码和训练问题，提升推理性能与效率。
谷歌版小钢炮开源！0.27B大模型，4个注意力头，专为终端而生
谷歌开源Gemma 3 270M，几分钟就能完成微调，性能超Qwen 2.5同级模型。此模型小巧高效，可本地运行，还能用它构建OCR应用。它有多项亮点，适合多场景，上手简单。
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
AGI真方向？谷歌证明：智能体在自研世界模型，世界模型is all You Need
谷歌DeepMind研究人员表明，通用AI智能体处理复杂长期任务需学习内部世界模型，还证明可从智能体策略提取该模型。此研究成果补充多领域，对AI发展和安全意义重大。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。