「全注意力机制」共找到 2728 篇相关文章
全球首个完全AI编写的训练框架来了，速度反超英伟达：面壁要用 AI 把国产算力软件重写一遍
面壁智能发布全球首个全由AI编写的训练框架ForgeTrain，在华为昇腾系列上验证，速度超英伟达Megatron 10%。其构建分三阶段，目标是为不同需求“现场锻造”软件，还为国产算力软件生态赶超提供新思路。
斯坦福英伟达推出测试时强化学习：微调开源模型胜过顶级闭源模型，仅需几百美元
斯坦福、英伟达等提出TTT - Discover方法，基于开源模型gpt - oss - 120b，在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制，解决分布外问题，成本低且表现优，但目前适用于连续奖励场景。
长文本生成迎来新突破：拓元智慧推出 DrDiff ，实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架，解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”，有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件，经测试表现良好，未来应用值得期待。
抖音&LV-NUS开源多模态新模，以小博大刷新SOTA，8B推理比肩GPT-4o
抖音SAIL团队与LV - NUS Lab联合推出多模态大模型SAIL - VL2，以中小参数规模在106个数据集实现性能突破。该模型从架构、数据、训练三方面创新，后经全链路优化，在多数据集验证中表现卓越。
当ChatGPT也开始逐渐成为微信的模样。
OpenAI Blog提出目标是帮用户更好使用注意力，衡量标准是用户是否解决问题后离开，这与张小龙提出的微信“用完即走”理念相似。微信曾在流量时代坚持此理念，如今也面临桥与巢的矛盾。
打破AI能力的惯性评估方式，红杉中国推出全新双轨基准测试xbench｜甲子光年
红杉中国推出全新AI基准测试工具xbench，采用双轨评估体系，构建多维度测评数据集，追踪模型理论能力上限与Agent实际落地价值。还采用长青评估机制，首期发布两个核心评估集并给出综合排名，公开后邀各界完善。
NVIDIA发布最强开源模型，效果和速度全面超越DeepSeek R1
NVIDIA推出Llama - Nemotron系列开源模型，有LN - Nano、LN - Super、LN - Ultra三款。旗舰款LN - Ultra在权威测评中碾压DeepSeek - R1等，运行效率还更高。有“动态推理开关”功能，代码数据全公开，或引发AI推理效率革命。
英伟达铁幕之后，谷歌AI芯片已成气候
英伟达在AI领域风头正劲，谷歌却在幕后打造AI基建帝国。谷歌CEO官宣第七代TPU Ironwood商用，算力惊人。谷歌TPU历经十年进化，已形成成熟产品组合，且构建了全栈AI生态，未来发展势能深厚。
千问3：开源第一不只是说说！
英伟达新开源的OpenCodeReasoning系列选千问作基础底座。千问3以Apache 2.0发布后，开发者生态更新频繁，衍生模型超10万，下载量破3亿，全球第一。其性能强，正加速开启全栈式AI时代。
盘点丨那些 AI 公司悄咪咪上线的产品（十五）
本期盘点快手、字节、百度新上线的 AI 产品。快手的 Poify 是电商场景 AI 图像编辑产品；字节的 Pippit 是全链路内容制作平台，功能成熟丰富，拿下 ProductHunt 4 月月榜第一；百度的月匣是 AI 虚拟陪伴产品。