「架构问题」共找到 4695 篇相关文章
刚刚，谷歌AI路线图曝光：竟要抛弃注意力机制？Transformer有致命缺陷！
谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
Transformer八周年！Attention Is All You Need被引破18万封神
Transformer已满8岁，其开创性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。它催生诸多前沿产品，让人类跨入生成式AI时代，虽起初未受关注，但如今影响深远，谷歌态度也在改变。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
ACL 2025 | 大语言模型正在偷改你的代码？
本文聚焦大语言模型在代码推荐中的「供应商偏见」，通过分析7个主流大模型在30个场景的59万次响应，发现模型会偏好特定供应商，甚至擅自修改代码，还探讨了风险、局限并给出展望。
DeepMind 最新研究：智能体就是世界模型！
DeepMind研究科学家Jon Richens团队在ICML 2025发表论文，从第一性原理证明智能体就是世界模型，回答了AI界多年的根本问题，还带来多个有趣推论，引发AI社区热烈讨论。
0粉丝狂卷数十亿播放，靠AI流量欺诈获利近亿！网友：这“刑”得离谱
2024年全球录制音乐市场总收入飙升，流媒体经济贡献突出，但AI技术引发的流媒体欺诈问题严峻。如北卡罗来纳州男子Michael Smith利用AI创作虚假歌曲欺诈获利，类似事件增多，平台反击成效不佳。
音频大模型安全可信度的全面“体检”！6大维度，清华南洋理工联手打造
南洋理工和清华团队提出新框架AudioTrust，将ALLMs评估扩至六个核心维度，探究音频模态特有问题。目前基准及平台已开发，揭示了开源与闭源ALLMs在多维度的潜在风险。
万帧？单卡！智源研究院开源轻量级超长视频理解模型Video-XL-2
长视频理解是多模态大模型关键能力，当前开源模型有短板。智源研究院联合发布 Video-XL-2，多维度优化长视频理解能力，还设计效率优化策略，在主流评测基准表现出色，有广泛应用潜力。
姚顺雨提到的「AI下半场」，产品评估仍被误解
OpenAI研究员姚顺雨提出「AI下半场」重点转向定义问题，评估重要性超训练。亚马逊Eugene Yan发文补充，指出产品评估常被误解，应运用科学方法，践行评估驱动开发，自动化工具也需人工监督。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。