「动作注意力掩码策略」共找到 503 篇相关文章
DeepSeek-V3.2正式版发布,将开源模型的能力推向极致
DeepSeek-V3.2正式版开源,包含标准版和Special版。它采用稀疏注意力机制,降低计算复杂度。后训练阶段有多项算法改进,支撑高难度推理。还融合思考与工具使用,合成训练数据,在智能体评测表现优异。
Jina-VLM:可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM,在多语言视觉问答任务达 SOTA。它引入注意力池化,连接视觉与语言基座,支持 29 种语言,能高效处理问答等任务,对硬件需求低。
LeCun世界模型:48倍规划速度,单卡就能跑
Yann LeCun团队推出LeWorldModel世界模型,仅靠两条数学规则,让机器几小时学会物理运转逻辑,动作规划速度超同类48倍。它跳出复杂训练修补怪圈,单卡训练,在多环境测试表现出色,还展现对物理法则的深刻理解。
对标GPT-4o和香蕉!浙大开源ContextGen:布局身份协同新SOTA
浙江大学ReLER团队开源ContextGen框架,攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构,用双重注意力机制实现布局精准锚定与身份高保真隔离,在基准测试中超越开源SOTA模型,对标GPT - 4o等闭源系统。
实测可灵O1,AI视频界的Banana也来了。
可灵推出全新多模态视频大模型可灵O1,融合多种视频生成与修改能力。实测显示,它能实现视频内容增删、特定内容修改、扣绿幕、动作迁移、风格更改等功能,虽有局限,但开启用嘴改视频新时代。
DeepSeek母公司去年进账50亿,够烧2380个R1
R1问世一年,DeepSeek无新融资和商业化动作,但AGI成果不断。其母公司幻方量化去年赚50亿,为研发提供资金。对比靠融资和变现的OpenAI,DeepSeek坚守AGI初心,团队稳定,还让股民借其论文获利。
告别「想完再做」卡顿!清华StreamingVLA让VLA边想边行动,提速2.4倍
视觉 - 语言 - 动作(VLA)模型“观测 - 生成 - 执行”串行模式致交互卡顿,清华与联想合作提出StreamingVLA框架,引入两项技术实现并行处理,在测试中显著提升效率和流畅度,为VLA模型部署提供新方案。
Agent 的第一性问题:Proactive 与 Context 经济学
过去一年AI Agent能力提升,但用户体感未同步变好,原因在于人类注意力窗口有限。赛道分化,主动式桌面Agent是新方向,AirJelly是代表产品,五源资本对其创始人黄柏特进行访谈,探讨产品设计、应用场景等问题。
万字长文!大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开,先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求,再阐述模型并行、注意力机制优化、模型优化和模型服务等技术,如Pipeline并行、MQA、量化、动态批处理等。
阿里通义开源GUI智能体SOTA:2B到235B端云协同重新定义移动端GUI智能体
阿里通义实验室开源MAI - UI,通过端云协同架构等解决GUI智能体部署难题。它全谱系模型设计应对硬件约束,自进化数据管线和在线强化学习提升性能,端云协同平衡隐私与效率,扩展动作空间打破局限,在多基准测试创SOTA。