「推理性能优化」共找到 4189 篇相关文章
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
吴恩达最新来信：是时候关注并行智能体了
吴恩达在最新来信中指出，并行智能体正成为提升AI能力新方向，多个agent协作能高效处理不同任务。相比依靠数据和算力提升性能的方法，并行agent提升性能同时无需用户久等，且大模型token成本下降使其可行。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
国民技术发布面向AI数据中心的3 kW数字电源参考设计方案
在AI算力增长与能源转型驱动下，电力供给变革。国民技术发布面向AI数据中心的3 kW数字电源参考设计方案NS3KW53V5P2L3，基于N32H474芯片和Hunter OS生态，有高转换效率等优势。
半导体材料巨头涨价“突袭”！涨幅高达30%！
日本半导体材料巨头Resonac宣布，对覆铜层压板与黏合胶片全系列产品提价超30%，2026年3月1日生效。调价受原材料紧张、成本上升等因素驱动，其看好市场前景，此次调价或影响下游产业。
本周推荐的5个超级6的Github开源项目！
文章推荐了5个Github开源项目。如htmx，能在纯HTML搞定多种交互，无需JS；Flow.Launcher可快速搜索文件、启动应用；Maple Mono是编程字体，中英2:1对齐；Trilium Notes是分层笔记神器；Hyprnote可实时转录会议内容。
科研写作神器，超越Mathpix的科学公式提取工具已开源
LaTeX公式OCR现有方法处理真实文献面临挑战，DocTron团队提出系统性方案。构建CSFormula数据集，提出DocTron - Formula模型，在评测和实际应用中表现出色，超越Mathpix等工具。
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
Pinterest 部署生产级模型上下文协议生态系统，赋能 AI 智能体工作流
Pinterest 工程团队搭建内部模型上下文协议（MCP）生态系统，驱动 AI 智能体，实现工程任务自动化。架构上线生产级服务器等，替换零散对接方式，让语言模型调用工具、访问数据，还能执行多种任务。