「视觉注意力机制」共找到 1566 篇相关文章
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
Meta“Token榜”逼疯打工人，一夜烧掉公司几万刀！AI时代Token焦虑越来越离谱
据报道，Meta 公司内网出现 AI token 消费排行榜，追踪超 8.5 万员工 token 使用情况，过去 30 天消耗超 60 万亿 token。这反映“Token 最大化”文化，引发 token 消耗是否等同于生产力的争议。当前 Agent 系统高 token 消耗是补偿机制，应提升使用效率。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
刚刚，面壁小钢炮开源进阶版「Her」，9B模型居然有了「活人感」
2月4日，面壁开源全双工全模态大模型MiniCPM - o 4.5，在多方面达SOTA水平。它能边看边听边说，实现自主交互。实测中表现如真人，其架构和机制有创新，还适合端侧部署，或开启人机交互新时代。
8个月营收提高4倍，n8n如何成为AI Agent最受欢迎的搭建平台？
n8n由前《加勒比海盗》视觉设计师创立，从工作流自动化工具升级为AI应用编排层。8个月营收提4倍，正进行超1亿美元融资。它能与AI无缝集成，有活跃社区，在多场景应用广泛，不过用户多为技术人员。
十周前才写下第一行代码，如今颠覆 9 个行业？员工人均 10 万粉，00 后创业者狂言：我们将超越 OpenAI
本文聚焦 21 岁 00 后创业者 Roy Lee 和他的桌面 AI 助手 Cluely。该产品获高额融资、估值达 1.2 亿美元且已盈利，但也饱受争议。文中还揭秘其成功热度的关键、团队情况，探讨 AI 时代产品留存演变。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
字节最强多模态模型登陆火山引擎！Seed1.5-VL靠20B激活参数狂揽38项SOTA
5月13日，火山引擎在上海发布5款模型和产品，其中豆包1.5・视觉深度思考模型（Seed1.5-VL）最吸睛。它激活参数20B，性能与Gemini2.5 Pro相当，38个评测基准达SOTA，推理成本低，已开放API。
把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？
国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。
机器学习先驱Daphne Koller警告：AI制药不是魔法棒，下一代药物发现还缺1000倍数据
知名学者 Daphne Koller 在 a16z News 发文指出，AI 制药当前最受关注的进展多在分子设计，但新药研发难题在上游，疾病机制的靶点选择错误导致大量临床试验失败，且当前数据距构建完整生物学因果模型差约 1000 倍。