「混合注意力模型」共找到 7807 篇相关文章
“10周的工作量，AI只用4天！”Anthropic发布会全程实录：你引以为傲的复杂工程，在模型眼里只是个玩具
Anthropic举办‘Code w/ Claude’开发者大会，指出AI模型能力呈‘指数级’增长，多数企业开发模式却停留在‘线性’阶段。大会祭出三大杀手锏，包括更强底层模型、Claude Platform代理编排能力和Claude Code桌面端。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
刚刚，智谱正式成“全球大模型第一股”，开盘涨超3%！10位董事7个清华背景，专家：国内IPO抢收“确定性”，OpenAI们豪赌“无限性”
今天，智谱在港交所正式挂牌上市，成“全球大模型第一股”。其有技术、产品、商业化等竞争力，但未盈利，研发投入大。专家认为国内大模型厂商上市是抢收确定性，而OpenAI等是扩展无限性。
杨植麟亲自发布，月之暗面最强模型Kimi K2.5开源
杨植麟发布月之暗面最强模型Kimi K2.5，经约15万亿视觉与文本混合数据预训练，有顶尖编程与视觉能力及智能体蜂群范式。在多基准测试表现优，成本低于对手，还能提升办公生产力。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。
DeepMind 最新研究：智能体就是世界模型！
DeepMind研究科学家Jon Richens团队在ICML 2025发表论文，从第一性原理证明智能体就是世界模型，回答了AI界多年的根本问题，还带来多个有趣推论，引发AI社区热烈讨论。
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
Redis 之父：哪怕被喷我也得说，AI 远远落后于人类程序员！开发者跟评：用大模型气得我自己写代码都有劲儿了
Redis之父Antirez分享开发经历称人类程序员仍比大模型出色，举例说明在解决Redis复杂bug时，人类的创造力能想出奇特有效的解法，而大模型较难做到。开发者看法不一，有将其当助手，也有认为它会干扰思路。
20000 GPU·h砸出 106 个SOTA模型架构：AI 科研进入“自我加速”时代
模型架构发现领域迎来突破，ASI - ARCH超级智能体无需人类预设搜索空间，完成科研闭环。经20000 GPU·h、1773次实验，发现106个超越人类SOTA的线性注意力架构，且已开源。