「推理缓存优化」共找到 3050 篇相关文章
字节跳动开源文档解析大模型Dolphin，告别繁琐的文档处理，上线狂揽1k星，真是绝了！
字节跳动开源文档解析大模型Dolphin，采用两阶段分析 - 解析范式，有异构锚点提示等功能，适用多领域。技术架构基于视觉 - 编码器 - 解码器，训练集超3000万个样本，安装推理简单，比同类更具竞争力。
2025年哪款模型最受欢迎？Poe最新报告：DeepSeek降温、可灵成黑马
AI工具聚合平台Poe发布2025年1 - 5月人工智能模型使用趋势报告。显示模型市场份额消长明显，推理模型势头正劲，图像、视频、音频生成领域各有竞争态势，如DeepSeek降温，可灵成视频生成黑马。
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
Agent 的 Token 账单怎么省？
AI 行业从生成式能力向 Agent 行动力跃迁，核心矛盾转向推理成本可控性。随着企业将 Agent 编入自动化流水线，Token 消耗受关注，业界开始聚焦以「降本」为核心的技术路线。
李建忠对话菲尔兹奖得主Timothy Gowers：整个数学研究的范式将被AI改变
奇点智能研究院院长李建忠与菲尔兹奖得主Timothy Gowers对话，探讨AI与数学研究的十个话题，涉及数学重塑AI、AI推理能力、自动形式化、数学研究未来及AI对数学教育的影响等。
22.4K Star！这个开源 AI 工具给 Agent 装上「项目经理大脑」！
GitHub上项目Beads登上Trending榜单，它是为AI编程助手设计的分布式任务追踪系统，底层基于Dolt数据库，解决多AI协作痛点，有版本控制、AI优化等亮点，还提供多种安装方式。
SIGGRAPH Asia 2025：摩尔线程赢图形顶会3DGS挑战赛大奖，自研LiteGS全面开源
12月17日，在SIGGRAPH Asia 2025上，摩尔线程凭自研LiteGS获3DGS重建挑战赛银奖。3DGS是下一代图形渲染技术，有巨大潜力但训练耗时久。摩尔线程开源LiteGS，实现全链路协同优化。
如何让Agent更符合预期？基于上下文工程和多智能体构建云小二Aivis的十大实战经验
文章围绕云小二Aivis项目，分析Agent不按预期输出的原因，从预期和技术层面展开。还总结十大优化经验，如清晰预期、精准投喂上下文等，为构建和调优Agent提供参考。
AI模型守法率提升11%，港科大首次用法案构建安全benchmark
香港科技大学KnowComp实验室从法律合规视角研究LLM安全，提出「安全合规」新范式。基于法律条文构建benchmark，用GRPO微调Qwen3 - 8B得推理模型，在新benchmark测试中性能提升显著。
从科学论文自动生成视频
该项目解决学术演示两核心问题，用智能体PaperTalker生成视频，还设Paper2Video基准评估。介绍了PaperTalker使用步骤，含环境、配置、推理，也说明了Paper2Video评估指标及运行方法。