「推理硬件」共找到 2474 篇相关文章
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
疯狂小扎边裁员边给高管发钱！元宇宙硬件成重灾区
据纽约时报等报道，Meta近日一边裁700人，涉及多部门，内部还评估更大规模调整；一边为6位核心高管设股权激励，收益与股价挂钩。这源于AI烧钱，Meta要开源节流，优先AI等现实方向。
3.9k星星爆火硬件开源，用Wi-Fi实现室内人体活动检测。
智能家居有诸多需求待解，如家庭安防、老人看护等。ESPectre开源项目用Wi-Fi检测室内人体移动，无需摄像头和红外传感器，配件成本低，利用Wi-Fi信道状态信息及高效算法实现功能。
告别“云端依赖症”：AI为何要“锁”进本地硬件里？｜甲子光年
过去三年，AI产业沉浸在云端幻象，但走进现实面临诸多阻力，如物理距离、隐私、试错成本和监管等问题。下一阶段AI竞争转向算力位置争夺，英特尔酷睿Ultra系列处理器助力多行业实现本地算力部署。
对话鹿明CTO丁琰：数据会反向决定模型，甚至影响硬件形态 | GAIR 2025
本文是对鹿明CTO丁琰的访谈。丁琰博士最早将UMI落地实践，其数采方案「FastUMI」受青睐。他认为UMI是完整体系，数据会反向影响多方面。还对比多种数采方式，介绍FastUMI改进及Pro版优势。
Sora 模糊视频有救了！强大的免费开源AI视频处理工具！硬件要求低！
Video2X-QT6是免费开源AI视频处理工具，支持视频超清放大、补帧，兼容CPU和GPU，低配置电脑也能用。6.0.0版本用C/C++重写，速度快、跨平台，还能处理图片。介绍了不同系统安装方法等。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。
Agentic Deep Research新范式，推理能力再突破，可信度增加，蚂蚁安全团队出品
尽管LLM能力提升，但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统，不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher，解决上述问题，实验效果良好。
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。