搜索：推理缓存优化

「推理缓存优化」共找到 3050 篇相关文章

32倍加速，58秒搞定720p视频！字节发布离散自回归框架，统一视觉生成和长视频生成

字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。

OpenAI前CTO Mira Murati创立的Thinking Machines Lab推出研究博客Connectionism，首篇文章聚焦LLM推理的非确定性问题。研究发现真正原因是批次不变性缺失，提出实现批次不变内核的方案，实验效果显著。

ClockBench测试让11个多模态大模型与5个普通人认钟表时间，人类平均准确率89.1%，最好的AI仅13.3%。AI在复杂钟面表现差，却能处理抽象指令。该测试暴露视觉AI空间推理缺陷，对评估有启发。

美团发布并开源560B参数的MoE模型LongCat - Flash - Chat，推理速度快。与DeepSeek V3对比，输出速度优势明显。美团多个落地或内测AI功能服务C端生活场景，目标是打造通用生活Agent。

GPT-5通关《宝可梦水晶》创纪录，仅9517步击败赤爷，步数为o3的三分之一。它在主线任务效率也远超o3，如收集徽章、对战四天王等。其优势在于幻觉少、空间推理和目标规划能力强。

当前AI（如ChatGPT）存在行为随机性、效率黑洞等问题，论文指出AI缺乏认知地基，需明确认知框架。还提出革命性等式“推理 = 行动”，分析了知识与决策边界，给出最优行为四象限，介绍落地路径和未来发展方向。

假期时Karpathy提出llm.wiki想法引发关注。它是元框架，定义人类与AI协作管理知识的方式。与RAG不同，它将新材料关键信息编入已有wiki并持续维护。作者用多种数据测试，发现TextIn API解析效果好，还优化处理流程提升质量。

阶跃星辰推出并行协同推理框架PaCoRe，让大模型突破上下文窗口和处理速度限制。基于此框架，小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5，还具备前沿性能、“综合”能力涌现等优势。

OpenAI官宣其推理模型在今年IOI线上竞赛中成绩刷新纪录，总分533.29，全球330名人类选手中排第六，AI参赛者中居首。不过其没比过三位中国高中生。此前OpenAI称模型获IMO金牌引争议，此次网友更谨慎。

本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。