搜索：大模型推理系统

「大模型推理系统」共找到 9178 篇相关文章

数据科学新风口？三大环节搞定ML「资产」管理，VLDB'25最新教程抢先看！

大模型时代，ML资产爆炸式增长，但大多缺乏规范管理。凯斯西储大学等研究团队将在VLDB 2025提出教程，从整理、发现、利用三大环节给出ML资产管理方法论与系统路径，还会展示前沿平台解决实际问题。

2025年5月，滑铁卢大学等团队发布Paper2Poster系统，用大模型将论文自动生海报。它提出PosterAgent多智能体方法，分解析、规划、绘制优化三阶段，生成效果好且开源，不过也存在效率和创意不足问题。

甲子光年在年终盛典对话三位学者，探讨AI“真假智能”。学者们提及强化学习、推理、多模态等技术突破，分析研究路径，还谈选择标准与未来期待，指出AI是工程实践命题，真与假关乎信念选择。

香港科技大学KnowComp实验室与香港华为理论部提出AutoSchemaKG框架，可自主构建知识图谱，无需预定义模式。该系统利用大模型提取知识三元组并归纳模式，构建了ATLAS系列知识图谱，经测试表现优异。

近日，字节跳动发布豆包手机助手，标志大模型应用从‘Chat’迈向‘Action’。文章解析其关键技术，指出虽具实用价值，但端侧智能体面临安全、自主任务、个性化服务等挑战，还展望了手机助手与端侧智能体的未来发展。

微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。

DeepSeek V4技术报告被深挖，为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐，是复杂上下文系统底座，但会牺牲GPU利用率等，换来训练等多阶段可复现和稳定度。

Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization，搭硬核评测系统，覆盖47个横跨5大工程方向的任务。评测多种模型，结果显示gpt 5.4最稳健，但距资深工程师水平尚远。

智谱最新技术博客大倒苦水，称从GLM - 5以来遭遇「Scaling Pain」。团队排查出高负载下推理状态管理等问题致异常，还给出避坑指南，如在线异常监控策略，优化后系统更稳定，吞吐量提升。

Claude Code等大语言模型工具强大，让软件构建门槛崩塌，迎来个人化软件时代。但构建有价值软件门槛仍高，代码虽廉价，软件维护等成本贵。工程师价值转向系统架构，真正挑战是分发和分辨实用价值。