「稀疏注意力优化」共找到 1453 篇相关文章
Unsloth让大模型跑在手机上！
Unsloth放出教程，可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化，Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失，还给出iOS和Android部署步骤及注意事项。
最高能效比！他又死磕“存算一体”2年，拿出全新端边大模型AI芯片
后摩智能CEO吴强在今年WAIC期间发布业界能效比最高的存算一体端边大模型AI芯片后摩漫界®M50。它搭载第二代存算一体技术，全栈自研实现软硬件协同优化，还配套系列产品，构建端边智能新生态。
ROLL：面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
让AI智能体拥有像人类的持久记忆：基于LangGraph的长短期记忆管理实践指南
文章围绕让AI智能体拥有持久记忆展开，深入探讨Agent Memory概念，聚焦LangGraph框架下长短期记忆实现，详解存储、管理、检索技巧，还通过引入MCP协议的实战案例展示构建多Agent系统。
LlamaIndex 深度实战：用《长安的荔枝》学会构建智能问答系统
文章兼顾 RAG 科普与 LlamaIndex 实战。介绍 RAG 原理，用《长安的荔枝》讲解关键步骤和参数。实战部分展示用 LlamaIndex 搭建问答系统，代码量少。优化篇通过实验给出参数调优建议，架构篇剖析内部机制，最后提及 Agent 化拓展功能。
墙体的AI革命！智能超表面如何让建筑「听懂」6G信号？
在5G基站功耗高、室内信号衰减成瓶颈的当下，文章探讨6G如何借智能超表面和建筑无线友好性优化室内流量。还分析建筑设计对信号的影响，以及人类移动行为给超表面嵌入建筑信道带来的挑战。
DeepSeek正开发高级AI Agent模型，硬刚OpenAI
彭博消息，DeepSeek正开发高级AI Agent模型与OpenAI竞争。此模型能在极少指令下执行多步任务并自我优化，计划Q4推出。此前该司模型表现佳，技术已在多领域落地，但构建AI Agent仍有挑战。
智谱开启狂飙模式！7倍提速，全球最快，旗舰模型即问即答
5月22日，智谱上线GLM - 5.1高速版API，输出速度达400 tokens/s，刷新全球大模型API速度纪录，比原版提速约7倍。该速度由GLM团队和TileRT团队联合打造，核心优化分三层推进，且是稳定可用的生产级能力。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。