「高效推理」共找到 2495 篇相关文章
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
国产芯片比英伟达整体效率更高！？华为 CloudMatrix384 超节点首曝论文，跑 DeepSeek 效率超越英伟达
今年4月，网上曾争论华为芯片效率是否超国际主流。近日华为团队论文公开，阐述在CloudMatrix 384超节点部署DeepSeek大模型细节，性能指标超英伟达体系，还介绍架构、软件栈及适配优化方案。
如何选择最佳多模态大模型压缩方案？哈工大、度小满开源EFFIVLM-BENCH基准测试框架
金融科技智能化转型中，LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架，能为多模态大模型压缩方案出具‘体检报告’，还揭示LVLM加速复杂性，推动技术发展。
10%训练数据超越100%表现，机器人学习领域迎来重要突破
密歇根大学和瑞典皇家理工学院团队提出 ViSA - Flow 框架，能从人类视频提取语义动作流，提升机器人数据稀缺时学习效率。在 CALVIN 测试中，用 10% 训练数据超越 100% 数据方法，有技术优势也存在局限。
MiniCPM 4.0来了！220倍极速狂飙，端侧模型的比赛，结束了
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有三级火箭推理加速体系，性能强，适配全平台，应用广泛，或成端侧AI分水岭。
浅析 rust 大明星 Tokio
本文剖析热门Rust库Tokio，介绍其优势与适用场景，从Rust异步着手，分析架构、调度生命周期，还对比Nginx，探讨绑核方法与未来方向，如支持IO Uring、扩展协议栈等。
大模型首次打破围棋思维「黑盒」，打通科学发现新路径！上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客（InternThinker），它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境，还在多任务混合训练中现‘涌现时刻’，背后有通专融合底层技术突破。
本周推荐的5个超级6的Github开源项目！
本周推荐5个超棒的Github开源项目，有基于Nginx的可视化管理面板、全能型浏览器自动化框架、容器命令行版“任务管理器”、命令行知识管理工具，还有GitHub汉化浏览器插件，各有强大功能和特色。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。