「后Transformer架构」共找到 3714 篇相关文章
斯坦福提出新的RL范式，让3B模型的Agent超越Claude、GPT-4
斯坦福提出新的RL范式，让小模型Qwen2.5 - 3B经训练后性能超越Claude - 3.5 - Sonnet等大模型。论文解决了RL在代理环境中可变时长动作优化偏差和稀疏奖励两大挑战，为AI代理发展指明方向。
究竟会花落谁家？DeepSeek最新大模型瞄准了下一代国产AI芯片
近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
先进封装补完计划
2024年美国众议院点名批评美资对盛合晶微投资，后将先进封装列为投资禁区。盛合晶微由中芯国际和长电科技合资成立，攻克硅中介层难题。AI芯片变大使台积电产能紧张，盛合晶微为国产芯片提供新选择。
刚刚，马斯克开源Grok 2.5：中国公司才是xAI最大对手
马斯克主导xAI正式开源Grok 2.5，Grok 3将半年后开源。Grok可在HuggingFace下载，运行有条件。虽Grok 2曾有不错表现，但网友对其参数权重、开源协议等有诟病。此外，还更新APP视频生成功能，马斯克称中国公司是xAI最大对手。
年前看到最有深度的AI下半场Agents记忆机制综述
本文是一篇83页的基础智能体记忆机制综述，由27家机构联合发表。提出AI研究范式转变，记忆是填补理想与现实差距的关键。构建三维统一分类框架，介绍记忆操作、学习策略、评估体系、应用场景及未来方向。
李飞飞团队新作：简单调整生成顺序，大幅提升像素级图像生成质量
长期以来，AI生图面临潜空间模型细节损耗、像素空间模型结构混乱速度慢的矛盾。李飞飞团队最新论文提出Latent Forcing方法，通过重排生成轨迹，让像素扩散模型找回效率并刷新SOTA。
华为CloudMatrix重磅论文披露AI数据中心新范式，推理效率超NV H100
华为发布60页重磅论文，提出下一代AI数据中心架构Huawei CloudMatrix及产品CloudMatrix384。它架构设计独特，性能高效准确灵活，打破算力、延迟和成本“不可能三角”，重新定义AI基础设施。