「自注意力层」共找到 1530 篇相关文章
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
除了prompting外，不动参数，如何改变模型行为？
文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。
世界模型公司「厘清智能」完成数亿元种子轮融资，顺为红杉高瓴齐押注
清华系初创公司「厘清智能」完成数亿元种子轮融资，投资方豪华。其构建世界模型系统，全栈自研，释放强大泛化能力。由97年博导李一鸣领衔，集结名校人才。资本认为其是稀缺的‘范式级’团队。
长文本生成迎来新突破：拓元智慧推出 DrDiff ，实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架，解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”，有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件，经测试表现良好，未来应用值得期待。
登顶！快手发布开源编程模型，720亿参数，创下编程能力新纪录
快手发布开源编程模型KAT-Dev-72B-Exp，在SWE-Bench Verified测试中登顶开源代码模型，与闭源GPT - 5成绩相近。该模型基于自研框架，有架构创新，还集成多种软件工程能力，是构建编程智能体的有力工具。
当ChatGPT也开始逐渐成为微信的模样。
OpenAI Blog提出目标是帮用户更好使用注意力，衡量标准是用户是否解决问题后离开，这与张小龙提出的微信“用完即走”理念相似。微信曾在流量时代坚持此理念，如今也面临桥与巢的矛盾。
真热AI！米哈游5亿成立新公司
米哈游全资成立上海米哈游无定谷科技有限公司，注册资本5亿，经营范围涉及人工智能等领域。米哈游在AI领域布局已久，有自研大模型，创始人蔡浩宇也有相关创业动作，旗下游戏还与马斯克的AI女友互动。
世纪反转：“安卓爹”谷歌成 iPhone“大脑供应商”？曝苹果每年掏70亿换定制Gemini，明年上线新Siri
彭博社报道苹果将与谷歌合作，每年付约10亿美元获定制Gemini模型升级Siri，计划明年春季推出。Gemini与苹果自研模型分工，经测试它更符合苹果需求，此合作资金流向反转引网友热议。
清华联手快手可灵，撞车谢赛宁团队RAE，用SVG再证明VAE已过时
AI图像生成正告别VAE技术。清华与快手可灵联合提出SVG方案绕开VAE，纽约大学谢赛宁团队也提出RAE模型。SVG用自监督特征构建潜空间，在质量、效率和通用性上超传统，证明统一视觉模型可行。
朱啸虎投的第一个AI硬件公司，又完成一轮融资
AI眼镜创业公司Gyges Labs完成Pre A+轮融资，此前由朱啸虎的金沙江创投领投。其CEO邓旭东提出“Glass First”理念，以自研技术DigiWindow实现极致外观，还以“功能减法”换“体验加法”，未来将布局可穿戴设备。