「大语言模型推理」共找到 8425 篇相关文章
AI原生产品不等于全部功能AI化，保留传统功能让用户体验更完整 | 对话小卡健康
AI健康管理赛道竞争激烈，产品各有差异。量子位智库访谈小卡健康产品负责人李雅，探讨AI如何赋能、产品功能拓展、数据指标关注、智能设备联动、开发问题及运营推广等，展示其差异化策略和发展思考。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
告别模板时代！妙多VP张昊然：生成式AI如何驱动UI设计的范式革命
在AICon2025上海站，妙多副总裁张昊然分享生成式AI在UI设计领域的影响。他回顾初代生成式UI的‘套模板’技术，讲述技术革新后回归代码生成界面，还探讨让AI理解设计系统、妙多AI 2.0理念及未来UI工具假设。
生成式推荐！推荐系统新范式还是新噱头？
文章围绕生成式推荐展开，介绍其概念，探讨效果和成本问题。以Meta的GR和快手的OneRec为例，分析收益与开销，指出不同团队应用情况，认为它或带来架构革新，也提醒勿盲目跟风。
从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。
AI 陪伴赛道，会诞生下一个「泡泡玛特」吗？ | GAIR Live
AI科技评论组织“AI陪伴”线上圆桌，多位从业者探讨AI陪伴是否伪命题、不同人群接受度、产品核心价值等，还讨论IP对AI硬件的重要性、硬件与软件优势、是否出海等问题。
Devin 教你做 Agent：把 AI 当做需要指导的初级开发者
Cognition团队发布编程智能体实践指南，以把AI当初级开发者的心智模型为基础。介绍与智能体沟通原则及融入日常工作流的场景，还分初、中、高级给出任务处理方法，也提及局限性、使用建议和安全管理等内容。
Token纪元：从「马力」到「人天」再到「兆字元时」的认知革命
文章指出，AI时代需全新生产力计量单位“马斯”。字元是AI“语言燃料”，但缺乏统一计量体系。智能社会的容量、速度、价格是关键指标，当前AI算力网络停在2G时代，AI劳动力崛起将重构就业，Token或引发文明跃迁。
成熟工程师1天完成调试，AI工程实践被MCP彻底颠覆？
去年11月Anthropic发布模型上下文协议（MCP），开发者社区迅速采用，AWS、GitHub、OpenAI等也已采用。MCP标准化数据和工具与AI代理的集成，简化定制化AI应用构建。采访华院计算杨小东，解析其架构、应用及商业价值。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。