「业务需求」共找到 1306 篇相关文章
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
AI大模型重塑学习硬件：从工具到伙伴 | 网易有道孟旭
网易有道词典笔产品负责人孟旭在AICon大会分享，以有道AI答疑笔为例，阐述智能学习硬件在大模型催化下从“学习工具”进化为“智能伙伴”，其发展呈“需求牵引 - 技术支撑 - 体验升级”螺旋路径。
AI全面爆发后，企业正在悄悄争夺知识库入口｜甲子光年
AI幻觉问题让企业意识到通用模型在专业场景的局限，需构建企业级知识库。腾讯在峰会上宣布升级知识库产品，乐享知识库通过AI赋能解决数据整合、更新等痛点，未来知识库将与业务深度联动。
MCP for 可观测2.0，6个让MCP开发更高效的小妙招
文章介绍MCP这一开放协议，它能标准化AI模型与不同数据源和工具连接。分享配置MCP开发所需客户端、API等步骤，阐述阿里云可观测2.0融合MCP的实践及效果，还给出设计MCP Server的6个经验，最后展望了MCP应用场景和可观测2.0+AI未来。
对话港理工吕佳欣：如何将一项实验室成果变成一条6500吨级的生产线？
文章是对港理工吕佳欣的访谈，围绕多筒挤压技术展开，探讨从实验室到产业化的过程、挑战及应对方法，还提及工业AI在制造领域的应用，如数据处理、经验转化等，强调科研与工程相互促进。
从“会用”到“驾驭”：AI Coding 进入生产环境的真实碰撞
InfoQ《极客有约》X AICon 直播栏目，邀网易游戏林香鑫等探讨 Coding Agent 重构软件工程环节。嘉宾分享了 AI Coding 在生产环境的变化、MCP 等概念作用、代码质量保障、Agent 权限及 AI 原生研发体系建设等观点。
LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4
近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。
两个哈佛女生用AI做电池故障排查，数月的工作量被缩到了几分钟
哈佛毕业女生 Eva Tuecke 和 Catherine Yeo 创立 Altara 公司，获 700 万美元种子轮融资。其系统能整合电池等物理科学领域分散数据，将故障排查时间从数月缩至几分钟，还能确保输出可审查，适应不同机构需求。
流式意图检测+永久记忆，NUS&NTU发布Pask：把贾维斯AI拉进现实
南洋理工大学谢之非团队提出Pask，采用「底层小模型流式意图检测」+「上层Agents执行」架构，实现实时、有深度、基于个人全局记忆自进化的主动智能体。它包含需求检测、长期记忆和主动系统模块，经测试效果良好。