「关键token」共找到 1633 篇相关文章
图解Vllm V1系列6:KVCacheManager与PrefixCaching
文章聚焦vllm v1,阐述调度器取请求时判断设备有无充足空间做推理的问题,涉及KVCacheManager与Prefix Caching。前者管理请求和块,后者通过找最长一致前缀节省显存,还介绍块分配释放策略与流程。
谷歌神秘模型Kingfall泄漏!
近日,谷歌AI模型Kingfall在AI Studio平台短暂开放后意外曝光。它具备多模态处理能力,上下文窗口6.5万个token,有两种模式。生成SVG矢量图能力超Claude 4,身份猜测不断。
吴恩达对谈LangChain创始人:企业构建Agen系统的核心认知!
吴恩达与LangChain联合创始人Harrison Chase深度对话,点明构建Agent系统关键要点,如关注系统‘Agentic’、解决构建核心挑战、模块化构建等,还提及被低估领域、MCP问题及AI创业制胜之道。
推理“刹不住车”?新框架让DeepSeek-R1们告别过度思考,已开源
DeepSeek - R1等推理模型能力增强,但出现过度思考问题,如步骤繁冗、表述拖沓、输出冗长。浙大等团队提出Self - Braking Tuning(SBT)框架,能让模型适时终止推理,在多数据集测试中效果显著。
All In AI的Google I/O 2025还开源了一系列模型,冲~
谷歌CEO称Google IO 2025上,数十年AI研究成果已成为现实。大会亮点多与AI相关,如Gemini 2.5系列模型表现出色,还有Veo 3等。此外,还开源了medgemma、gemma - 3n等模型。
翁荔最新万字长文:Why We Think
北大校友、前OpenAI华人VP翁荔发布万字长文《Why We Think》,围绕“测试时计算”和“思维链”,探讨提升模型性能的方法,涉及心理学类比、基于Token的思考、分支与编辑等多方面内容。
CAI+DeepSeek渗透测试情况及扩展分析
文章对CAI+DeepSeek进行渗透测试。介绍CAI安装,在kali按Ubuntu指令装,使用界面友好。测试中CAI执行指令彻底灵活,扫描分析到位。还提及CAI多种能力,称其作为开源框架全面细致,值得研究。
深度实测「豆包工作」+飞书:目前最接近企业Agent终局的答案
「豆包工作」作为面向生产力场景的Agent产品正式发布,与飞书深度打通,给出了目前Agent进入组织的最佳答案。主流办公Agent基础能力趋同,企业上下文正成办公Agent分水岭,豆包工作+飞书优势明显。
我去,终于找到原因啦,58.4k Star MemPalace,不敢相信!!!!
AI编程中,上下文压缩后易丢失关键信息。MemPalace将对话和资料按原文存本地,按项目和主题精准找回。本文讲清其存储与检索原理、使用场景、注意事项及安装建议。
蒸馏效果起飞!DOPD破解「特权幻觉」,让在线策略蒸馏更有效
近期,新加坡国立大学等团队提出 DOPD 法解「特权幻觉」难题。该法依 token 情况动态蒸馏,实验表明其在 LLM、VLM 蒸馏效果好,鲁棒性强,训练稳定,为在线策略蒸馏提供新思路。