「推理与计算」共找到 8244 篇相关文章
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
一文读懂：国产AI芯片与英伟达的差距有多大？
文章围绕国产AI芯片与英伟达的差距展开。从算力性能、生态壁垒、市场现状、技术瓶颈等方面分析差距，指出国产芯片虽在部分场景缩小差距，但高端训练和生态成熟度仍落后3 - 5年，突围需多领域突破。
PCIe显卡被低估了！内核补齐+通信重构，DeepSeek推理吞吐直接翻近7倍
当前大模型算力需求攀升，高端GPU供给紧成本高，大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎，通过纯软件优化挖掘硬件潜力，让DeepSeek推理吞吐提升近7倍，方法也适配国产GPU。
双管齐下：联邦学习防投毒攻击与梯度泄露，华南理工深北莫研究成果登上TMC与IoT
随着联邦学习在物联网系统广泛应用，数据隐私保护成难题。华南理工大学与深圳北理莫斯科大学合作，提出FedMSBA和FedMAR两种防御方法，分别解决参与方梯度泄露和服务器受攻击问题，在多方面实现突破。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
无问芯穹曾书霖谈 AI 2.0 时代的大模型推理：从模型到硬件的协同优化
本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果，结合华为昇腾集群实践，探讨 AI 推理系统演进趋势，还从云、端维度分享大模型推理实践与挑战。
深度解析大模型技术演进脉络：RAG、Agent与多模态的实战经验与未来图景
大模型作为产业变革核心引擎，RAG、Agent与多模态技术重塑AI与现实交互边界。本文解析技术演进脉络、实战经验与未来图景，介绍三者在各领域应用及面临挑战，为产业升级提供指引。
模拟大脑功能分化！北大与港中文发布Fast-in-Slow VLA，让“快行动”和“慢推理”统一协作
北大与港中文研究团队发布 Fast-in-Slow（FiS-VLA）全新双系统视觉 - 语言 - 动作模型，将快速执行模块嵌入预训练视觉 - 语言模型，实现快慢系统一体化。该模型在多平台表现优异，控制频率大幅领先。
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。