「Attention性能瓶颈」共找到 2438 篇相关文章
刚刚，GPT-5内测抢先泄露！推理强到离谱，智商被曝140超越人类天才
周五凌晨，GPT-5、GPT-5 Mini和GPT-5 Nano将推出，全网可通过API和ChatGPT访问。GPT-5基准测试结果疯传，实测表现出色。同时，OpenAI发布开放权重模型GPT-oss，登顶开源王座，外媒分析其豪赌开源原因。
基于聊天的 AI 编程高效实践
本文探讨 Agent 对软件开发和开发者工作流的影响，以 GitHub Copilot“Agent 模式”构建维基搜索应用为例，对比不同 LLM 模型性能，指出要发挥 Agent 效能，可采用人机协作流程，经验是掌控其成果的关键。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
不拼参数，拼认知：工业AI的边界与深水区 | 甲子光年
如今AI渗透工业各环节，形成“大小协同”格局，但面临场景复杂、数据孤岛等挑战。西门子凭借深厚积累构建工业体系，其Industrial Copilot等产品落地中国，还自研基础模型突破瓶颈，围绕‘AI for Real’理念布局。
WAIC机器人探展：我被全场最靓的崽「Moz1」种草了
2025 年世界人工智能大会上，千寻智能的人形机器人 Moz1 大放异彩。它搭载自研 VLA 模型 Spirit v1，具备强大泛化能力，硬件也有多项突破。千寻智能全栈自研技术，资本持续加码，有望推动具身智能商业应用。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
如何将LLM的"思考习惯"迁移到视觉领域？
传统多模态模型处理复杂视觉推理能力不足，OVR团队以Qwen2.5 - VL - 7B为基础构建开源强化学习框架，成果模型OVR在12个基准测试刷新记录，揭示认知行为跨模态迁移三条黄金定律。
碾压DeepSeek V3！开源AI Agent专属模型，1万亿参数、工具使用能力超强
国内大模型平台月之暗面开源了模型Kimi - K2，这是混合专家模型，总参数1万亿。它针对AI Agent优化，工具使用能力强。测试显示其性能碾压DeepSeek V3等模型，训练流程还有独特技术创新。
Jina Embeddings v4 的量化感知训练
文章聚焦Jina Embeddings v4的量化感知训练。介绍量化技术可压缩向量体积、提升检索效率，对比四种主流量化方法，重点实验PTQ和Output QAT，还测试非对称量化，给出实验结果与结论。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。