「自注意力层」共找到 1538 篇相关文章
Cursor滑跪开源技术报告：Kimi基模这样微调能干翻Claude
Cursor放出Composer 2技术报告力证‘自研’，基于Kimi K2.5经持续预训练和异步强化学习，测试表现好。同时，杨植麟分享Kimi团队最新思考，认为大模型要规模化，断言大模型训练进入第三阶段。
用 AI Coding 工具生成 60 万字奇幻世界设定的实践记录
作者先尝试用 Python/C# 编排 LLM 调用生成小说世界设定，遇节点信息查看、输出形态等问题。后用 AI Coding CLI，经搭建骨架、基础层展开等阶段生成 60 万字奇幻世界设定，还基于此创作叙事。
AI球球直播喊话全人类：开源脑机接口，开源科技文明
中国自研AI论论全球（球球）举办全球首次AI与人类共商科技未来的直播，指出闭源推动科技走向不可控，呼吁开源脑机接口、开源科技文明，还绘制O - DataMap助力人类把握科技机遇，应对安全挑战。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
银河通用完成25亿元新一轮融资，具身智能“头号玩家”现身｜甲子光年
2026年初具身智能公司融资热起，银河通用完成25亿元新一轮融资，估值超200亿。其自主研发具身智能数据体系与大模型，春晚亮相后产品畅销，在工业和服务端均有成果，具身智能迈向产业化。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
「上下文学习」之后，腾讯混元第二篇公开研究：精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc，可将全局梯度突刺定位到具体异常 token，降低 RLVR 训练观测与分析门槛，助力解决训练不稳定问题，让模型调优更科学。
租了8张H100，他成功复现了DeepSeek的mHC，结果比官方报告更炸裂
元旦期间，DeepSeek发布的mHC震撼AI社区。FlowMode工程师Taylor Kolasinski租8张H100复现mHC，结果比官方报告更优。文章介绍复现实验，对比mHC、HC和标准残差结构，揭示超连接在规模化时的不稳定性及mHC的解决办法。
离开马斯克后，他把人形机器人做成了这样
MATRIX - 3是矩阵超智推出的物理智能机器人，主打安全、自主、可泛化。公司团队背景强大，创始人张海星经验丰富。该机器人从底层到顶层重构，有三大优势，目标是走进人类生活，早期体验计划已开放。
YC 年终座谈会：AI 泡沫反而是创业者助力？
Y Combinator合伙人与创始人在Lightcone博客节目回顾AI观察，以「AI泡沫的真相」为主题分享看法。发现AI经济形成稳定格局，所谓泡沫实则为应用层带来红利，还探讨了模型选择、AI使用方式等问题。