「上下文token」共找到 1207 篇相关文章
AI Infra入门干货总结:大模型是如何高效推理的
作者深入研读vLLM源码,以Llama 3为例,聚焦Decoder-Only架构LLM,介绍推理各环节及张量维度变化,讲解连续批处理和Paged Attention概念,还阐述推理流程、采样策略等,最后总结相关拓展内容。
任务自适应 Harness:从 Trace 到多 Coding Agent 的协作记忆
作者为AI Coding准备的端到端方案未落地,后在Routa项目找到新落点。基于ACP协议的Agent Trace可记录关键行为,用于分析优化。还介绍了Feature Explorer、Kanban Harness及任务自适应Harness,探讨多Agent协作记忆。
静态稀疏已死:Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题,先介绍Elastic Attention打破静态稀疏桎梏,后重点阐述全新的Flux Attention,它将动态稀疏注意力范式升级为层级别路由,解决了算法与硬件的矛盾,在多方面实现突破。
腾讯广泛使用的跨端开发框架——Kuikly在搜狗输入法中的AI Coding实践
AI 席卷开发领域,输入法团队在 Kuikly 跨端项目探索 AI 工程化方案。介绍了推进 AI 友好型工程、构建精准 AIContext 等关键层面,以灵感词库页面开发为例展示效果,还展望了未来探索方向。
当数据库的主要用户不再是人类:我们在 AI Agent 场景下的架构实践与思考
文章分享了服务 AI 公司时在 Agent 场景下数据库架构的实践与思考。介绍 Agent 工作负载特征,通过三个案例说明数据库面临的挑战及解法,还提到新需求催生开源项目 mem9,并给出实践教训,指出 AI 时代数据基建重要性。
分享10个你可能不知道的Claude Code隐藏命令。
作者分享10个Claude Code隐藏命令,如/btw可并行提问不污染上下文,/rewind能分别回退代码和对话等,还介绍快捷键,强调Claude Code更新快,建议关注更新动态。
对话MossCode:估值1亿美金的AI运动手表,想给用户构建一套「个人运动能力Context」
AI智能运动穿戴赛道正火,MossCode获数千万元天使轮融资,估值达一亿美元。其创始团队背景强大,想打破运动行业「苦难叙事」,用AI理解个体差异,为用户打造更贴合需求的运动手表。
o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」
文章推荐 Implicit Chain-of-Thought 的最新进展 SIM-CoT,它直击隐式 CoT 核心痛点,用辅助解码器让隐式推理可解释。推理零额外开销,效果猛,研究已中稿 ICLR 2026,论文等均已开源。
GPT-5.2来了…
OpenAI推出GPT - 5.2系列,是适合专业知识工作的模型。它在专业工作表现、编程能力、可靠性与安全性等多方面有提升,定价公布,已向付费用户逐步推出,此次更新重在夯实基础。
OmniHuman-1.5:让数字人拥有“思考”的视频生成新范式
现有视频数字人模型难捕捉角色本质,字节提出 OmniHuman - 1.5 框架。其核心创新是用 MLLM 提供语义引导、提出多模态 DiT 架构和伪末帧设计,使模型融合多模态信号,生成高质量角色动画。