「推理部署」共找到 2654 篇相关文章
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
从兼职工程师直接跳到CTO，他用两个月让一款 Agent 干掉60%复杂工作并放话：“代码质量与产品成功没有直接关系”！
金融科技公司 Block 的 CTO Dhanji R. Prasanna 分享公司 AI 转型经验。Block 在 8 周内部署 AI 智能体，推出开源 AI Agent 框架 Goose，能节省员工工时，还谈到组织变革、AI 应用及招聘等多方面见解。
Sam亲自泼冷水，GPT-5意外失手：我们对AI的期待，是否已被整个行业误判？
科技行业集体转向 AI，高管强调其变革性，可 OpenAI 的 Sam Altman 却泼冷水，提醒投资者高估回报。文中围绕‘AI 是否放缓’展开讨论，还分析了 GPT - 5 发布遇冷原因、AI 对就业影响等，指出 AI 发展多且快，未来潜力巨大。
仅100种子题，合成数据质量超GPT-5，阿里、上交提出Socratic-Zero框架
阿里巴巴与上交大联合提出 Socratic-Zero 框架，仅从 100 个种子问题出发，通过三智能体协同进化生成高质量课程。该框架合成数据质量超 GPT - 5 等，Solver 性能提升显著，工程友好，开启零数据自进化新路径。
只有0.9B的PaddleOCR-VL，却是现在最强的OCR模型。
近期OCR赛道火热，作者应读者要求解读PaddleOCR-VL。它是百度PaddleOCR系列新模型，仅0.9B参数，在OmniDocBench v1.5评测多项领先。其架构高效，实测处理各类文档能力强，已开源。
英伟达用NIM + NV-Tesseract模型，提高芯片生产良率
芯片制造良率控制难题待解，传统方法各有局限。英伟达推出NV - Tesseract模型家族和NIM推理微服务，二者结合用于半导体晶圆厂生产，可实时发现问题、预测故障，降低成本，为制造打开新大门。
告别微调！斯坦福提出Agentic上下文工程
当前微调大语言模型成本高、不灵活，‘上下文适应’方法有短板。斯坦福大学等提出ACE框架，将上下文变为动态‘战术手册’，解决现有问题。论文通过实验验证其在性能、成本和效率上优势，为大模型发展指明新方向。
SIGCOMM 2025｜重新定义个性化视频体验，快手与清华联合提出灵犀系统
快手与清华孙立峰团队联合发表论文，提出灵犀系统，这是业界首个大规模生产环境中面向用户个性化体验的自适应视频流优化系统。该系统能解决现有方法在部署中的难题，实现个性化QoE优化。