「全注意力模型」共找到 8751 篇相关文章
4 个月狂飙 22k Star，这本书凭什么？
Github上超火的开源项目《LLMs-from-scratch》中文版4月上市，4个月涨超22k Star。作者实操搭建类GPT - 2模型，涵盖大模型构建全流程。用PyTorch开发，代码少且有注释，对初学者友好，豆瓣评分9.3。
AI圈“集体开大”！DeepSeek、Claude带头，智谱、阿里、蚂蚁、智源都“卷”起来了
双节前最后一天，AI圈“卷”疯了！智谱发布并开源GLM - 4.6，是国内最强Coding模型；阿里介绍视、听、说全模态同传大模型Qwen3 - LiveTranslate - Flash；蚂蚁开源万亿参数推理大模型Ring - 1T - preview；智源开源跨本体基座大模型RoboBrain - X0。
模型大一统？1100多个模型殊途同归，指向一个「通用子空间」！
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证，虽成因待探索，但意义深远。
R1时代，RAG-Retrieval技术总结与展望~
RAG - Retrieval提供全链路RAG检索模型微调、推理及蒸馏代码，支持多模型、多loss和训练方式。还发布模型技术报告，设计评估框架，未来探索RL在检索领域应用。
黄仁勋倡议的开源联名信，Anthropic 为何不愿签名?
黄仁勋分享支持开放权重模型的联名信，NVIDIA、Google等公司联署，Anthropic缺席遭网友讨伐。Anthropic研究人员回应引争议，这场讨论或存在错位，分歧关键在于发布前评测能否支持模型权重长期外授。
Agent 开发，迎来「AI 云原生」时刻
大模型时代，交互主体变为 Agent，「AI 云原生」应运而生。它围绕 Agent 重构架构，有全新技术栈。基于火山引擎工具和模型，展示了 Agent 开发的新流程，还做了两个应用案例。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
AI 精神病的巅峰：Claude Mythos 和 OpenAI Spud 还没上线，就有人度假都睡不着了
还未发布的Claude Mythos和OpenAI Spud在舆论场引发热议，大众情绪被拉高。OpenAI推出GPT - 5.4 - Cyber，还跟进‘安全’故事。网友对‘模型太危险只能少数公司用’说法存疑，同时GPT - 6等新模型消息不断。
中国AIGC「全家桶」来了！三箭齐发杀入全球第一梯队
3月27日，2026中关村论坛上，天工AI发布游戏世界模型Matrix - Game 3.0、视频大模型SkyReels V4和音乐大模型Mureka V9，杀入世界第一梯队，解决行业顽疾，还发布2026 AGI战略。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。