「推理框架开发」共找到 4650 篇相关文章
悟空AI Agent再进化：连斩魔搭社区SWIFT框架RCE 0day漏洞
腾讯悟空AI Agent对魔搭社区SWIFT框架开展深度安全审计，通过人机协同发现两个较难利用的RCE 0day漏洞，获官方致谢。该框架在易用性和高效性上表现出色，此次发现推动了其安全性提升。
推理效率狂飙60倍：DiDi-Instruct让扩散大模型16步超越千步GPT
普渡大学等研究者提出 DiDi-Instruct 后训练方法，可将扩散大语言模型推理加速 60 倍，超越传统 GPT 模型。该方法实现推理效率与效果双提升，为大语言模型落地提供新方案。
刚刚，美团开源 SOTA 推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking
美团宣布开源高效推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking，是国内首个结合多种推理能力的大语言模型。它采用新方法提升性能，已在多平台开源，API 平台免费开放，还兼容主流 API 格式。
最鲁棒的MLLM！港科大开源「退化感知推理新范式」 | AAAI'26
多模态大语言模型（MLLMs）在真实世界视觉退化下性能崩溃，制约产业落地。港科大等团队开源的Robust - R1被AAAI 2026接收为Oral，提出显式结构化推理新范式，实现质量与鲁棒性双重突破。
面壁MiniCPM4推理速度3倍，碾压同尺寸Qwen3，阿里上眼药了~
面壁发布包含10个模型的MiniCPM4系列，其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点，还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。
NeurIPS 2025 Spotlight | 只需一条演示，DexFlyWheel框架让机器人学会「自我造数据」
北京大学、哈工大联合 PsiBot 灵初智能提出 DexFlyWheel 框架，仅需单条演示就能自动生成多样化灵巧操作数据，缓解数据稀缺问题，已被 NeurIPS 2025 接受。此框架在成本、效率和数据多样性上优势明显。
AI 推理精细化流量治理实战：RocketMQ LiteTopic 的“千人千面”流控方案
随着大模型推理服务成主流，传统消息队列限流机制在AI推理场景面临挑战。Apache RocketMQ 5.x推出LiteTopic，其精细化流量治理方案能实现‘千人千面’，解决队列头部阻塞和并发效率受损问题，还与阿里云百炼网关合作。
开源共建重塑推理 Infra：从架构创新到生态协同，Mooncake的破局之路
大模型推理落地面临成本、吞吐、长上下文“三角困境”。开源项目Mooncake以“计算存储解耦”为核心，通过PD分离等技术提供底层支撑。直播邀请专家从多视角拆解其技术逻辑、开源价值与企业实践。
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。
把VLM塞进隐式世界模型，小鹏机器人新框架让机器人长出物理直觉
机器人大脑架构中VLM和VAM路线各有短板，香港大学、小鹏机器人等团队提出DIAL框架，让VLM在原生特征空间做隐式世界建模，解耦认知决策与底层执行，在机器人部署中表现优异。