「混合长度理论」共找到 472 篇相关文章
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
广义智能体理论：智能时代通向「万物理论」的新路径？
源自AI的「广义智能体理论」为探索「万物理论」提供新视角。它将物理、生命、AI系统纳入标准智能体框架，提出四大基本作用力或源于「智能场」，还为经典、相对、量子力学差异提供新诠释。
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。
多快好省，Qwen3混合部署模式引爆MCP
文章介绍Qwen3混合部署模式在MCP中的应用。MCP是AI与外部交互的标准协议，解决传统问题。Qwen3性能强、成本低，有混合思维等特点。通过本地小尺寸和满血版结合部署，实现多快好省，但仍有资源消耗等不足。
突发，Claude刷新物理学世界纪录！单挑基于杨振宁理论9圈难题
本文报道Anthropic的Claude攻克理论物理前沿难题，成功算出平面N=4超杨-米尔斯理论六粒子振幅的九圈结果，打破人类此前保持的八圈纪录，计算成本仅几千美元，展示了大模型在科研领域的突破性能力。
Claude独立攻克理论物理前沿难题，全程无人指导，花费不到两千美元
本文报道Anthropic旗下大模型Claude在几乎无人指导的情况下，独立完成理论物理前沿难题——平面N=4超杨-米尔斯理论九圈六胶子散射振幅计算，总成本不到两千美元，中科院团队也借助GPT-6得到结果，业内探讨了AI在科研中的能力边界。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。