「自注意力层」共找到 1599 篇相关文章
Andrej Karpathy爆料：自己家被Claude Code入侵了
Andrej Karpathy做实验让Claude Code入侵自家Lutron智能家居系统，成功接管全屋设备。此前网友用其控制烤箱等，引发连锁反应。但这也暴露物联网设备安全问题，还带来新威胁。
Ilya重磅发声：Scaling时代终结！自曝不再感受AGI
Ilya在与主持人Dwarkesh Patel的深度访谈中爆出惊人观点，认为Scaling时代已终结，我们正走向研究时代。他指出当前技术路线后劲不足，模型泛化能力远逊人类，还探讨了AI发展的诸多关键问题。
百度Qianfan-VL开源，纯国产自研昆仑芯跑出世界一流
百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。
冲击自回归，扩散模型正在改写下一代通用模型范式
Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。
深度拆解 DeepSeek Harness 架构：AGI 的自进化，终于有了「后悔药」
8月13日，DeepSeek开放DeepSeek Harness v0.1开发者预览版，在Github获4.5万星。它提出“一切皆插件”概念，核心组件可插拔。还联合北大提出Cordis框架，解决组件插拔问题，但面临价格与组件膨胀挑战。
深度 | 不是黄仁勋要改变 PC，而是 PC 要革自己的命
6月初英伟达发布面向Windows系统个人电脑的全新超级芯片RTX Spark，宣告进军个人电脑核心处理器市场，微软站台，众多PC厂商支持。英特尔是AI PC概念提出者，但英伟达入局后其显得被动。此外，高通、AMD、苹果等也在布局，AI正走向个人计算设备。
Anthropic逼急奥特曼：自砍副业，死磕Claude主场
OpenAI最高层拉响「红色警报」，准备砍掉边缘项目，全面退守编程与企业市场主赛道。此前其「全面押注」策略导致资源内耗，而Anthropic专注企业和编程市场取得成功，Claude Code年化收入超25亿美元。OpenAI反击，Codex用户量提升。
蚂蚁C2LLM：基于注意力池化的代码检索新范式
在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。