上下文token」共找到 1207 篇相关文章

8

AI Infra入门干货总结:大模型是如何高效推理的

作者深入研读vLLM源码,以Llama 3为例,聚焦Decoder-Only架构LLM,介绍推理各环节及张量维度变化,讲解连续批处理和Paged Attention概念,还阐述推理流程、采样策略等,最后总结相关拓展内容。

腾讯技术工程
推荐文章7

任务自适应 Harness:从 Trace 到多 Coding Agent 的协作记忆

作者为AI Coding准备的端到端方案未落地,后在Routa项目找到新落点。基于ACP协议的Agent Trace可记录关键行为,用于分析优化。还介绍了Feature Explorer、Kanban Harness及任务自适应Harness,探讨多Agent协作记忆。

phodal
算法论文8

静态稀疏已死:Flux Attention 开启长文本 LLM 自适应推理新时代

文章指出长上下文LLM高效推理面临性能与效率难题,先介绍Elastic Attention打破静态稀疏桎梏,后重点阐述全新的Flux Attention,它将动态稀疏注意力范式升级为层级别路由,解决了算法与硬件的矛盾,在多方面实现突破。

深度学习自然语言处理
产品应用7

腾讯广泛使用的跨端开发框架——Kuikly在搜狗输入法中的AI Coding实践

AI 席卷开发领域,输入法团队在 Kuikly 跨端项目探索 AI 工程化方案。介绍了推进 AI 友好型工程、构建精准 AIContext 等关键层面,以灵感词库页面开发为例展示效果,还展望了未来探索方向。

腾讯技术工程
推荐文章8

当数据库的主要用户不再是人类:我们在 AI Agent 场景下的架构实践与思考

文章分享了服务 AI 公司时在 Agent 场景下数据库架构的实践与思考。介绍 Agent 工作负载特征,通过三个案例说明数据库面临的挑战及解法,还提到新需求催生开源项目 mem9,并给出实践教训,指出 AI 时代数据基建重要性。

InfoQ
产品应用7

分享10个你可能不知道的Claude Code隐藏命令。

作者分享10个Claude Code隐藏命令,如/btw可并行提问不污染上下文,/rewind能分别回退代码和对话等,还介绍快捷键,强调Claude Code更新快,建议关注更新动态。

数字生命卡兹克
产品应用7

对话MossCode:估值1亿美金的AI运动手表,想给用户构建一套「个人运动能力Context」

AI智能运动穿戴赛道正火,MossCode获数千万元天使轮融资,估值达一亿美元。其创始团队背景强大,想打破运动行业「苦难叙事」,用AI理解个体差异,为用户打造更贴合需求的运动手表。

Founder Park
算法论文8

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

文章推荐 Implicit Chain-of-Thought 的最新进展 SIM-CoT,它直击隐式 CoT 核心痛点,用辅助解码器让隐式推理可解释。推理零额外开销,效果猛,研究已中稿 ICLR 2026,论文等均已开源。

机器之心
新闻资讯7

GPT-5.2来了…

OpenAI推出GPT - 5.2系列,是适合专业知识工作的模型。它在专业工作表现、编程能力、可靠性与安全性等多方面有提升,定价公布,已向付费用户逐步推出,此次更新重在夯实基础。

AI工程化
算法论文8

OmniHuman-1.5:让数字人拥有“思考”的视频生成新范式

现有视频数字人模型难捕捉角色本质,字节提出 OmniHuman - 1.5 框架。其核心创新是用 MLLM 提供语义引导、提出多模态 DiT 架构和伪末帧设计,使模型融合多模态信号,生成高质量角色动画。

带你学AI