「自注意力层」共找到 1530 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
中国科幻大会聚合力 铸就首钢园未来产业新高地
2026第十届中国科幻大会3月27日开幕，这是该盛会第六次落地首钢园。自2020年结缘，首钢未来数字空间创新高地渐成实景。首钢聚焦科幻等新质生产力领域，构建多元体验矩阵，以“会”聚产，推动科幻产业生态繁荣发展。
250份文档投毒，一举攻陷万亿LLM！Anthropic新作紧急预警
Anthropic最新研究揭示，仅250篇恶意网页就能让大模型“中毒”，遇特定触发词会崩溃。研究还设计DoS型后门攻击，验证不同规模模型攻击效果。同时指出AI开放性易被操控，而Anthropic注重安全，有“防爆层思维”。
Data Agent 落地挑战：忽略技术框架、语义能力和运营体系，投入可能打水漂
Data Agent 落地挑战大，90% 难点源于软件工程，统一语义层建设是关键。企业若忽略场景聚焦、技术框架迭代能力、语义模型和运营体系，投入可能打水漂。掌握相关要素，才能让 AI 代理落地应用，提升企业数据智能化效率。
抱抱脸要卖了：估值超 130 亿美元
Business Insider称，Hugging Face（抱抱脸）正找买家，估值超130亿美元，公司未回应。它从聊天App转型成模型市场，虽没自研模型，但汇聚众多模型。目前出售有多种可能走向。
一年磨一剑，今年最炸机器人Demo来了！1亿美元种子轮团队出手，单个模型解锁单手打蛋解魔方弹钢琴
Genesis AI发布机器人基础模型GENE - 26.5，让机器人可自主完成烹饪、实验室操作等复杂任务。该团队全栈自研，从硬件、数据、模型到训练评估都有独特方案，曾获1.05亿美元种子轮。
Sglang 源码学习笔记（三）- 分布式和并行（以deepseek 为例）（WIP）
文章是 sglang 源码学习笔记，聚焦分布式和并行，以 deepseek 为例。介绍通信域类型，分析 ZMQ 和 torch.dist 通信，阐述 TP、DP、EP 实现，包括初始化、使用等，还涉及不同 Linear 层 TP 及 MoE 不同实现情况。
AI 群星闪耀之前，商汤先相信那群少年
文章讲述商汤奖学金支持青年科研者的故事。自2017年设立，已资助280位本科生，在他们未成名时给予信任与支持，不仅是奖金，还提供资源和网络，获奖者们正从不同方向推动AI发展。
叛变！OpenAI亲儿子竟然选了Kimi K3
OpenAI投资的法律AI公司Harvey，首个自研模型Harvey Tenet选中国开源模型Kimi K3作底座。因原用闭源模型成本高、有竞争风险。Tenet训练成本低、性能佳，显示出可复制路径。
如何改变AI研究范式？谷歌DeepResearch新方法TTD-DR原理与实现 | 原理篇
谷歌提出新的DeepResearch方法TTD - DR，它模拟人类研究范式，将Agent起草的初稿视为‘含噪声输出’，经多轮检索 - 改进使初稿成高质量终稿，还引入自进化机制，测试显示其在复杂任务上领先。