「Attention性能瓶颈」共找到 2426 篇相关文章
突破LLM数据瓶颈：Meta等提出语言自我博弈，一台模型，两个角色，无限进化
Meta等团队提出“语言自我博弈”（LSP）框架，让语言模型自己和自己“玩游戏”，在无外部数据输入下自我改进。实验显示，其性能可媲美甚至超越用大量人类数据训练的模型，为缓解数据稀缺提供新思路。
性能不减，吞吐量提升6.4倍！英伟达用混合算子和架构定义小模型新标准
NVIDIA研究团队通过Nemotron - Flash系列模型，打破对‘深而瘦’架构迷信，修正缩放定律，用进化算法搜索混合算子、改进训练策略。该模型在性能、延迟和吞吐量上表现出色，远超同类产品。
刚刚，OpenAI开源2个推理模型：笔记本/手机就能跑，性能接近o4-mini
OpenAI深夜开源gpt-oss-120b和gpt-oss-20b推理模型，距上次开源已6年。模型亮点多，性能强，在多方面表现超专有模型。官方还放实测视频，展示其使用效果，同时解释了开源原因。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
AI x 大前端性能稳定性：快手亿级 DAU 下的智能诊断实践
本文整理自快手移动端稳定性负责人李锐在 2025 年 QCon 大会的分享。介绍快手大前端性能稳定性挑战，阐述借助「柯南 AI」赋能排障的实践，含根因排障和应急处置案例，还谈了开发中思维切换等认知。
MiniMax重磅开源M1模型：百万上下文超DeepSeek R1，实现性能与效率双杀
MiniMax正式开源首个推理模型M1，原生支持百万级上下文长度，在推理效率、计算成本和复杂任务能力上有独特表现。其在性能和效率上超越DeepSeek R1等模型，还提出创新强化学习算法。
Valkey 9.0 引入多数据库集群、原子级槽位迁移，并带来大幅性能提升
Linux 基金会宣布开源内存存储方案 Valkey 9.0 正式发布。它有原子级槽位迁移、哈希字段过期等新特性，支持编号数据库集群，可扩展到 2000 节点，每秒处理超 10 亿次请求，性能大幅提升。
训练时间减半，性能不降反升！腾讯混元开源图像生成高效强化方案MixGRPO
混元基础模型团队提出全新框架MixGRPO，结合SDE和ODE，简化MDP优化流程，提升效率与性能。还推出更快变体MixGRPO - Flash。MixGRPO训练时间降近50%，MixGRPO - Flash再降71%，效果和效率优于DanceGRPO。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
Qwen全面升级非思考模型，3B激活、256K长文、性能直逼GPT-4o
Qwen全新非思考模型Qwen3-30B-A3B-Instruct-2507上线，仅激活3B参数，性能媲美顶尖闭源模型。相比前代，推理、对齐和长文本处理能力大幅提升，在通用能力上也全面进步，适合复杂人机交互应用。