「注意力去偏技术」共找到 3147 篇相关文章
软体机器人控制难题获解，比传统方法节能75倍，还能闭眼干活
美国两校研究人员结合生物学与人工智能工程学，用‘神经储备池’技术控制生物混合软手臂，实现稳定追踪、自我感知和低能耗运行，还在多方面展现优势，目前研究处于仿真阶段。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
智谱AI今日正式上市，一文讲透你想知道的6件事。
今天智谱AI正式港股上市，股票代码HK2513。文章介绍其出身清华系，发布众多模型，融资顺利，虽亏损但研发投入大，商业模式围绕MaaS，未来押注技术、产品、人才，市场前景广阔。
突发：OpenAI收购计划泡汤！Windsurf创始团队转投Google怀抱
据The Verge报道，OpenAI 30亿美元收购AI编程初创公司Windsurf交易告吹，其CEO等核心团队转投Google DeepMind。Google获部分技术非独占授权，交易呈现“反向收购”模式，凸显人才流动性重要。
Correlations：氛围测试你的向量模型
Jina AI分享内部调试可视化向量小工具Correlations，它能生成交互式热图展示内容间余弦相似度，提供多种交互方式。工具已在GitHub开源，适用于内容去重、验证引文等场景。
ChatGPT的记忆机制被公开了
OpenAI推出ChatGPT聊天历史记录记忆功能，默认关闭需手动开启，因未全面开放，技术大佬逆向工程破解机制。记忆系统分保存记忆、聊天记录等，体验反馈两极分化，有优势也有诸多bug。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
华为携手中科大发布灵境造物，openJiuwen首发Coordination Engineering全栈支撑
4月25日，中国科学技术大学发布“灵境造物”智能科研云平台，面向全球开放。华为支持的openJiuwen社区与MindSpore社区提供Coordination Engineering技术体系，让AI从“单兵作战”升级为“科研精锐团队”，适配科研全流程需求。
FriendliAI获2000万美元，以加速AI模型推理工作负载
专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资，资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗，能为用户省90%的GPU成本，合作客户广泛。