上下文管理」共找到 1101 篇相关文章

开源动态8

开源共建重塑推理 Infra:从架构创新到生态协同,Mooncake的破局之路

大模型推理落地面临成本、吞吐、长上下文“三角困境”。开源项目Mooncake以“计算存储解耦”为核心,通过PD分离等技术提供底层支撑。直播邀请专家从多视角拆解其技术逻辑、开源价值与企业实践。

InfoQ
开源动态7

最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的?

文章介绍了开源推理引擎 vLLM 和 SGLang,包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术,SGLang 基于 RadixAttention 优化。二者竞争激烈,性能趋同,还获投资与基金会关注,受科技公司青睐。

AI科技大本营
开源动态8

给Cursor、Claude Code装上这个CLI,能变现

teamai-cli 是腾讯开源的命令行工具,能集中管理团队调教 AI 编程助手的成果,同步给全团队。它复用软件工程方法,解决 AI 协作中经验不沉淀、行为不一致等问题,让 AI 能力从个人资产变为团队资产。

CourseAI
产品应用7

把 Nano Banana/Gemini 3 Pro 榨干!这几点你必须知道

Gemini 3 放出 Pro 和 Nano Banana Pro 两条线,前者主打长上下文、多模态推理,后者专攻像素级生成。文章提炼精髓,给出“通用 + 像素”双模实战笔记,介绍两者使用要点及创意场景实测。

PaperAgent
新闻资讯7

种子轮、2500 万美金,营销 Agent 创业公司,帮客户销售额增长 40%

营销AI Agent公司MAI获2500万美元种子轮融资,其产品Google Ads Agent帮客户销售额增超40%。它解决广告管理难题,让中小企业也能用先进技术,融资将用于平台研发。

Founder Park
开源动态8

重塑AI记忆边界:MemOS开源!时序推理较OpenAI提升159%

近日,记忆张量等多家团队发布面向大模型的工业级记忆操作系统MemOS。它借鉴传统操作系统架构,实现AI记忆结构化管理,性能超OpenAI等方案,未来将成立社区、推进应用及持续迭代。

机器之心
算法论文8

√N并行+84倍计算加速!英伟达港大全新图像注意力:空间结构都保留

英伟达、港大等研究人员提出新型视觉注意力机制GSPN,通过线性扫描和稳定性 - 上下文条件处理图像空间结构,降低计算复杂度至√N量级,在多视觉任务达先进水平,生成16K图像加速超84倍。

新智元
算法论文8

给大模型装上「思维分段引擎」:浙大InftyThink解锁无限深度推理

如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式,将传统推理拆成短片段并总结,突破推理长度限制,在多基座模型实验中表现优异。

量子位
产品应用7

一码难求的 Dia 浏览器,有了新进展

Dia 浏览器处于 Alpha 内测,需邀请码体验。测试反馈超预期,将打磨细节后发布。其优势是使用 AI 时能方便代入上下文信息,Chat 交互将成主流,Arc 部分功能会融合进 Dia。

MacTalk
推荐文章7

搞不懂Skills?看看Claude Code内部工程师们是怎么玩的

文章来自Anthropic的Claude Code团队工程师,介绍了Claude Code中Skills功能。阐述Skills定义、类型,给出制作技巧,如避免陈述显而易见内容、构建陷阱部分等,还提及分发、管理、组合及衡量效果的方法。

机器之心