「推理优化与部署」共找到 3538 篇相关文章
KDD 2025 Best Paper Runner-Up | EI-BERT：超紧凑语言模型压缩框架
香港城市大学王茂林等提出 EI - BERT 框架，解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化，实现 99.5% 压缩率。在多任务中表现出色，已在支付宝大规模应用。
首个3D动作游戏专用VLA模型，打黑神话&只狼超越人类玩家 | ICCV 2025
淘天集团未来生活实验室团队提出首个3D动作游戏专用VLA模型CombatVLA，已被ICCV 2025接收。它能处理视觉输入输出动作指令，在战斗理解准确率和执行速度上表现优异，还构建了评测基准等。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
OpenAI首席科学家访谈被紧急制止！有些名字现在不让说了……
OpenAI首席科学家访谈时被要求禁止透露重要员工名字，因Meta常挖人。GPT - 5将发布，奥特曼谨慎应对。此外，还介绍了OpenAI研究方向、瓶颈，以及其他公司在挖人大战中的举措。
Meta华人新秀毕树超，重磅爆料下一代LLM路线！RL+预训练直通AGI
OpenAI前研究员、Meta成员毕树超在哥大演讲指出，AGI需高质数据、好奇驱动探索与高效算法，Scaling Law有效，规模决定智能，终身学习是重点，还探讨了AGI面临的诸多问题与挑战。
与三位前沿研究者聊AI Agent：规则、环境与热潮下的真问题｜五源小酒馆Vol.31
五源小酒馆对话三位AI Agent前沿研究者，探讨其发展进展、挑战。他们分享对Agent定义、能力边界判断等，提及过去技术突破，如DeepSeek工作，也指出通用Agent瓶颈，探讨未来模型能否提有价值问题等。
Claude Code + GLM-4.5，最强性价比编程组合教程首发
7月国产开源大模型竞争激烈，智谱发布的GLM - 4.5刷新开源大模型编程和agent能力。它成本低、速度快，还能与Claude Code配合。文章介绍该模型特点，分享二者使用教程及原型设计、网站开发等实测案例。
创智突破：AI首次自主发现106个超越人类设计的神经网络架构
创智学院团队发布的AI超智能系统ASI - ARCH，自主发现106个超越人类设计的神经网络架构，建立“科学发现缩放定律”，实现从“自动化优化”到“自动化创新”转变，还将成果开源推动研究发展。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
OpenAI最强对手出现！马斯克发布Grok-4，性能碾压Claude 4两倍！
半小时前马斯克发布Grok - 4，虽Grok3.5跳票、直播迟到被吐槽，但它训练量和算力投入大。在多项基准测试中碾压Claude Opus 4，还具备原生工具调用等能力，xAI目标是让其更快更智能。