「大模型推理加速」共找到 8576 篇相关文章
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
将 AI 注入 Java 应用程序
文章围绕将 AI 注入 Java 应用程序展开，以宇宙飞船租赁应用的聊天机器人为例，介绍如何用 LangChain4j 和 Quarkus 等 Java 框架与大语言模型（LLM）交互，还提及流式响应、结构化输出等功能及相关概念。
告别模板时代！妙多VP张昊然：生成式AI如何驱动UI设计的范式革命
在AICon2025上海站，妙多副总裁张昊然分享生成式AI在UI设计领域的影响。他回顾初代生成式UI的‘套模板’技术，讲述技术革新后回归代码生成界面，还探讨让AI理解设计系统、妙多AI 2.0理念及未来UI工具假设。
生成式推荐！推荐系统新范式还是新噱头？
文章围绕生成式推荐展开，介绍其概念，探讨效果和成本问题。以Meta的GR和快手的OneRec为例，分析收益与开销，指出不同团队应用情况，认为它或带来架构革新，也提醒勿盲目跟风。
从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。
Devin 教你做 Agent：把 AI 当做需要指导的初级开发者
Cognition团队发布编程智能体实践指南，以把AI当初级开发者的心智模型为基础。介绍与智能体沟通原则及融入日常工作流的场景，还分初、中、高级给出任务处理方法，也提及局限性、使用建议和安全管理等内容。
成熟工程师1天完成调试，AI工程实践被MCP彻底颠覆？
去年11月Anthropic发布模型上下文协议（MCP），开发者社区迅速采用，AWS、GitHub、OpenAI等也已采用。MCP标准化数据和工具与AI代理的集成，简化定制化AI应用构建。采访华院计算杨小东，解析其架构、应用及商业价值。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
太狠了！为了锁死DeepSeek，Anthropic要求加大AI芯片出口管制
全球著名大模型平台Anthropic发布文章，赞同并建议特朗普制定更激进规则限制AI芯片出口，以保持美国在与中国AI竞争中的领先地位，还污蔑中国运输芯片方式，拿DeepSeek举例说明芯片限制影响，并提出三点限制建议 。
突发，Claude刷新物理学世界纪录！单挑基于杨振宁理论9圈难题
本文报道Anthropic的Claude攻克理论物理前沿难题，成功算出平面N=4超杨-米尔斯理论六粒子振幅的九圈结果，打破人类此前保持的八圈纪录，计算成本仅几千美元，展示了大模型在科研领域的突破性能力。