「attention去偏」共找到 305 篇相关文章
Sand.ai重磅更新MagiAttention，正在定义分布式Attention性能新标杆
2025年4月，Sand.ai开源MagiAttention v1.0.0。如今发布v1.1.0，适配Blackwell新架构，构建原生Group Collective原语，经系统级协同优化，在多模型训练中得到实证，展现卓越性能。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
他们想用AI发现不存在的物理学，然后用它去半人马座
美国初创公司 Physical Superintelligence（PSI），计划用 AI 加速物理发现。其核心平台 Emmy 能拆解研究问题。商业应用从 AI 数据中心切入，还参与费米探索者星际探测任务，目标平衡学术与商业。
又一高管弃库克而去！苹果UI设计负责人转投Meta
苹果震荡之冬，副总裁、首席 UI 设计 Alan Dye 离职转投 Meta，将牵头搞硬件、软件与 AI 的界面整合。此前已有 COO 杰夫・威廉姆斯退休，AI 方向也有多名关键人物离职，而库克最早明年退休。
2025 社交新方式：当 AI 成为「第二个我」，去实现「真实连接」
作者作为业余AI产品经理，体验Second Me这款AI应用。它能借助AI复刻「AI自我」，基于记忆匹配社交，作者借此完成与他人的深度交流。同时探讨了AI社交风险，认为AI应是社交起点，帮人筛选和破冰。
周末去哪儿？昆明进入红嘴鸥最佳观赏季！“追鸥”指南来了→
11月11日消息，今年10月29日红嘴鸥大部队抵达滇池，昆明进入最佳观赏季。每年11月至次年3月，人鸥互动成昆明冬季旅游特色。此外，还介绍了观鸥地点、主题航班、马拉松活动及免费公交专线等信息。
一文看尽世界机器人大会，不用去现场人挤人了
2025世界机器人大会精彩纷呈，有200余家企业及百余款新品参展。大会分ABC三区，展示全场景覆盖与全行业应用的机器人。除展品，园区还有五大活动。文章带读者云逛展，介绍各馆特色机器人与产品。
LLM学习笔记：最好的学习方法是带着问题去寻找答案
文章总结拓展Andrej Karpathy教学视频，分析大模型聊天流程与原理，介绍LLM训练步骤，包括预训练、后训练和强化学习，还提及主流特性应用，如文件上传、网络搜索，强调带问题学习的重要性。
Copilot 创始工程师：大多数 AI 编码“就像开着法拉利去买牛奶一样
GitHub Copilot 创始工程师 Neel Sundaresan 正在构建 IBM Bob 智能编码工具，已有 8 万 IBM 开发者使用。他认为多数 AI 编码成本高，Bob 会按需调度模型。他还对智能体 AI 市场发表了看法，指出其有价值也有风险。