「Self - attention」共找到 92 篇相关文章
Sora2还在5秒打转，字节AI生视频已经4分钟“起飞”
字节和UCLA联合提出Self - Forcing++方法，无需更换模型架构或重收集数据集，就能生成分钟级长视频，最长达4分15秒，高质量且开源，在长、短时长生成上性能领先。
Evolvent AI 胡梦康：Agent 可能会被模型吃掉，但帮助 Agent 进化不会
Evolvent AI 创始人胡梦康认为 AI 下一阶段是让模型自主迭代。公司搭建 Self - Evolving Agent Infrastructure，希望成 Agent 进化的数据基础设施供应商。胡梦康分享研究历程、对 Agent 方向判断及公司业务，探讨 Agent 数据等问题。
ICLR 2026｜UIUC：一行代码彻底解决LLM推理的过度思考！
2025年DeepSeek发布推理大模型，引发RLVR研究热潮，但该方法有“过度思考”问题。伊利诺伊大学香槟分校等研究者提出Self - Aligned Reward（SAR），能提升推理准确度和效率，有望推动大模型推理系统发展。
ACL 2025 | 大模型乱试错、盲调用？KnowSelf让智能体有「知识边界感知」能力
ACL 2025 论文《Agentic Knowledgeable Self-awareness》聚焦提升智能体「知识边界感知」能力。KnowSelf 方法让智能体自主调节知识运用，实验显示其性能优，还探索了智能体自我认知多方面影响。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
美团又上新模型，8个Thinker齐开工，能顶个诸葛亮？
临近春节，美团 1 月 15 日更新 LongCat - Flash - Thinking - 2601 模型。它有 5600 亿参数，引入重思考模式，智能体能力提升。实测表现佳，适合特定场景，其技术改进独特，还将推出 ZigZag Attention。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
MiniMax开源推理大模型MiniMax - M1，原生支持100万token输入、8万输出，性能比肩DeepSeek - R1，仅花380万训成。采用Lightning Attention机制与CISPO算法，在多领域表现出色，模型权重可在HuggingFace下载。
Paddle OCR走到了尽头，Unlimited OCR一次读40 页
百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA，模型只记128个token，能一次性读完40页文档。相比DeepSeek OCR，它在精度、速度上表现更优，训练成本低，适用范围广。