「混合推理模式」共找到 2991 篇相关文章
AI自己给自己当网管，实现安全“顿悟时刻”，风险率直降9.6%
大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
YC最新总结顶尖的提示词应该怎么写？
提示工程在大模型时代愈发重要，其核心在于提示词设计。近日，YC在播客分享从与大模型创业公司学到的提示工程实践，涵盖核心原则、进阶技巧、企业级实践、创业者模式等内容。
斯坦福意外用AI生成超强CUDA内核，性能比人类专家优化得还要好！翻倍碾压原生PyTorch，华人主创
斯坦福团队意外发现AI生成的内核性能超人类专家优化的，在常见深度学习操作上能让性能提升近400%。其方法是生成自然语言优化思想再转化为代码，还使用多分支探索模式。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
企业级Agent落地有了样板间！百融硅基员工批量上岗，“按结果”领工资
百融智能中报显示，受外部因素影响公司总收入波动，但AICC业务同比增长52%。其已在金融场景打磨能力并向多行业复制，采用RaaS按结果收费模式，还提出“技术重构型AI Roll - up”概念。
将 Pod 作为 worker 而非智能体：在 Kubernetes 上重新思考 AI 智能体的部署单元
在CNCF博客文章中，Lin Sun介绍kagent项目工作，认为Pod可能是智能体执行单元，却不适合作为部署、身份标识或生命周期单元。探讨了两种智能体部署方法及利弊，还提及新部署模式影响。
一个Markdown就是一名员工！YC CEO给年轻人的忠告：现在一个人能顶400人，大厂中层最该被AI替换
YC总裁Garry Tan在深度对谈中表示，传统SaaS模式或失效，个人开发者效能因AI提升。他强调创业别追热点，应关注兴趣与独特知识，还指出大公司中层官僚体系未来可用Agents替代。
从“卷模型”到“算总账”：AI 产业竞争开始拼什么 | 请回答 WAIC 2026
WAIC 2026热度高涨，InfoQ直播间追问‘AI正在重写什么’。与会嘉宾讨论AI产业新阶段变化，如从‘看能力’到‘算总账’，认为模型重要性方式已变，还探讨了AI原生产品定义、AI Infra影响及未来关注方向。