「生成式推理」共找到 4258 篇相关文章
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。
10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题,R-KV开源方法登场,显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余,还经多步骤压缩KV缓存,性能测试表现出色,适用多场景。
The Batch: 937 |OpenAI 退出视频生成领域
OpenAI计划关闭视频生成器Sora,将资源重新分配到更有盈利性的投资中。Sora虽能生成高质量视频,但生成耗时久、计算成本高,日亏损约100万美元,其与迪士尼的合作也将结束。
新版Claude曝光:“极限推理”成最大亮点
O家刚免费上线GPT - 4.1,A家新版Claude Sonnet和Claude Opus被曝即将发布,亮点是“极限推理”,能在推理和工具使用间建立动态循环,更智能处理问题,预计未来几周发布,虽有网友质疑,但也有实测证据。
根据 YouTube 视频生成 Blog 文章的提示词
文章给出根据YouTube视频生成Blog文章的提示词,涵盖核心创作原则、文章生成流程与要求、全局风格与限制等,指导创作者将视频内容转化为优质博客文章。
The Batch: 939 |在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢,研究人员提出TTT - E2E方法,通过推理时训练模型将上下文压缩到transformer权重中,还展示了其运作方式、测试结果等。
英伟达新GPU,超长上下文/视频生成专用
在AI Infra Summit上,英伟达宣布推出NVIDIA Rubin CPX GPU,专为处理百万token级代码生成和生成式视频应用。它是首款为超大上下文AI量身定制的CUDA GPU,性能强且能效高,预计2026年底推出。
告别「盲目自信」,CCD:扩散语言模型推理新SOTA
华为小艺香港团队等研究人员提出上下文一致性解码算法(CCD)。它解决传统DLM推理“短视”和采样预算固化问题,在开源DLMs上实现3.48倍加速和3.9%性能提升,适配多种解码设定。
DeepMind发布SIMA 2!打通「感知-推理-行动-反思」闭环
DeepMind推出的SIMA 2,可让智能体在虚拟环境中边聊天边进行复杂多模态推理。它整合Gemini能力,从指令执行者变为互动伙伴,有强大迁移泛化与自我提升能力,是迈向AGI重要一步,但也面临一些挑战。
中科院开源PPT Agent,一键自动生成PPT智能体
中科院软件所等联合开源PPT Agent,它能分析参考幻灯片,按人类流程分两阶段生成PPT,有自我修正功能,测试显示在多维度优于现有方法,极大节省用户时间精力。