「自注意力层」共找到 1530 篇相关文章
百度Qianfan-VL开源，纯国产自研昆仑芯跑出世界一流
百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。
冲击自回归，扩散模型正在改写下一代通用模型范式
Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。
深度拆解 DeepSeek Harness 架构：AGI 的自进化，终于有了「后悔药」
8月13日，DeepSeek开放DeepSeek Harness v0.1开发者预览版，在Github获4.5万星。它提出“一切皆插件”概念，核心组件可插拔。还联合北大提出Cordis框架，解决组件插拔问题，但面临价格与组件膨胀挑战。
深度 | 不是黄仁勋要改变 PC，而是 PC 要革自己的命
6月初英伟达发布面向Windows系统个人电脑的全新超级芯片RTX Spark，宣告进军个人电脑核心处理器市场，微软站台，众多PC厂商支持。英特尔是AI PC概念提出者，但英伟达入局后其显得被动。此外，高通、AMD、苹果等也在布局，AI正走向个人计算设备。
Anthropic逼急奥特曼：自砍副业，死磕Claude主场
OpenAI最高层拉响「红色警报」，准备砍掉边缘项目，全面退守编程与企业市场主赛道。此前其「全面押注」策略导致资源内耗，而Anthropic专注企业和编程市场取得成功，Claude Code年化收入超25亿美元。OpenAI反击，Codex用户量提升。
蚂蚁C2LLM：基于注意力池化的代码检索新范式
在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。
深度 | OpenAI携手博通自研芯片：算力终局或是垂直整合？
OpenAI与博通战略合作，2026年下半年推进研发，将部署100亿瓦定制AI芯片系统。这标志其从算力采购转向定义，是摆脱英伟达依赖的标志事件，推动AI芯片市场进入新格局。
「注意力经济」下，AI 生活助手能否解锁生服「新」刚需？
今年不少国内大厂加码AI生活助手赛道。腾讯、阿里、美团、京东、滴滴等各有动作，如腾讯在微信上线「元宝」，阿里在电商业务开发助手。当前AI应用使用时长和留存率不佳，而助手或能过滤信息、缩短决策链路。