「端侧智能体模型」共找到 9638 篇相关文章
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
a16z 合伙人：AI 正将 10 倍工程师“降级”为 2 倍！应用层已无技术护城河，未来在基础设施和业务深耕
Andreessen Horowitz (a16z) 的合伙人 Martin Casado 在对话中指出，当前AI大模型竞争格局似当年云计算大战，寡头垄断将降临。他还谈到AI对开发者、投资决策、市场格局的影响，以及对AI安全、开源等问题的看法。
分享两篇Claude Skills最新论文，有3个核心结论
文章分享两篇Claude Skills最新论文，总结出技能安全漏洞、技能数量与准确率关系等结论。还探讨单智能体技能系统能否取代多智能体，通过实验验证其效率优势，并提出解决技能选择过载的方案，也对Agent Skills做了安全分析。
还在拼命加 GPU？AI 应用规模化的下半场，拼的是这五大软件“新基建”
文章指出 AI 应用规模化下半场，拼的是五大软件“新基建”。从云原生到 AI 原生，应用基础设施面临诸多挑战，如从代码中心到智能体管理等。作者提出构建智能体协作网格、认知记忆平台等五座技术灯塔，助力 AI 原生应用发展。
破解AI对不同上下⽂位置的敏感度不⼀致，新框架使出“解铃还须系铃人”
语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。
手握30亿、被蚂蚁狂挖人，转型被骂惨的王小川，真的翻身了？
在大模型竞争中，2023 年成立的百川战略收缩聚焦医疗，起初内外存疑。2025 年，AI 医疗技术与应用进展显著，今年初大厂入局。百川如今开源 Baichuan - M3 模型，王小川认为医疗已入应用阶段、多模态非主战场，且国内 To C 更好。
脑子比不过AI，手也要沦陷了？这只灵巧手看得我有点慌
人类手部结构和功能复杂，将其能力复刻到机器人身上是梦想，由此衍生出“灵巧手”方向。但多数“灵巧手”存在不足，世界机器人大会上一款“灵巧手”表现出色。灵巧智能选择柔性传动，其产品DexHand021 Pro优势明显，未来将提升感知和智能水平。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。