「动态token选择」共找到 1305 篇相关文章
用中等难度prompt做高效post training
近年来,RL后训练在LLM发展中至关重要,但传统方法效率低。本文提出PCL轻量级算法,通过动态选中等难度提示提升LLM后训练效率,经多基准实验验证其优越性,也指出方法局限与未来方向。
R2没来,却等来综合性能更优的DeepSeek R1T2
抱抱脸热门排行榜出现R1变体模型DeepSeek-TNG-R1T2,构建于多个父模型之上,在智能与输出token长度间达新平衡点,速度快且测试表现佳,还给出与不同模型对比的选择建议。
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。
一文看懂“提示词” vs “提示词工程” vs “上下文工程”
文章区分了提示词、提示词工程和上下文工程的概念。提示词是给AI模型的输入文本;提示词工程是设计、测试、优化提示词的过程;上下文工程是为大模型构建动态上下文的学科,在AI Agent背景下诞生。
告别微调!斯坦福提出Agentic上下文工程
当前微调大语言模型成本高、不灵活,‘上下文适应’方法有短板。斯坦福大学等提出ACE框架,将上下文变为动态‘战术手册’,解决现有问题。论文通过实验验证其在性能、成本和效率上优势,为大模型发展指明新方向。
AI发布首个全球科学家社区爆火,硅谷投资圈:科技研究领域的「谷歌地图」来了!
O-DataMap,由AI论论全球打造的全球科学家社区爆火,被赞为科技研究领域的「谷歌地图」。它将全球论文实验数据整合到二维坐标系,形成动态「科技地图」,还分三层助力科研决策,本月18号论论全球将直播演讲。
深度解析 Claude Code 在 Prompt / Context / Harness 的设计与实践
本文深度解析Claude Code在Prompt、Context、Harness三方面的设计与实践。介绍了Prompt动态组装过程,探讨CLAUDE.md项目说明、上下文压缩体系和记忆系统,还阐述了系统级提醒、多Agent及安全体系等内容,文末分享了项目有趣彩蛋。
冲上热搜!美团大模型,靠「快」火了
国内外开发者亲测,美团新开源的LongCat - Flash - Chat模型速度超快,推理速度超每秒100个token。它来自美团LongCat - Flash系列,官网可直接用。该模型架构创新,训练方法高效,还做了专属和系统级优化,跑起来又快又便宜。
Agent 如何用搜索?这家最懂 AI 搜索的团队,把踩过的坑都分享出来了
AI时代搜索与传统搜索大不同,人类搜索是静态检索,AI搜索是动态、流式、可追问的。小宿科技作为AI Agent基础设施提供商,分享了为Agent提供搜索服务的经验,包括不同场景下AI应用接入搜索的难点与解决方案。
16 个月、45 万资金投入,一款 AI 社交产品的创业失败复盘
作者复盘AI社交产品“抱抱窝”创业失败经历,涉及方向选择、团队搭建、时间资金把控、团队沟通等问题,还给出经验建议,如选方向要有标准,团队开发股份占比应合理,明确时间表等。