「上下文管理」共找到 1101 篇相关文章
告别微调！腾讯提出Training-Free GRPO：无需更新参数，还能保证泛化性，成为传统RL的有力替代
大型语言模型在专业领域表现不佳，传统微调方法成本高、易过拟合。腾讯优图实验室提出Training - Free GRPO，无需更新参数，通过上下文学习提升性能，成本低且泛化性好，是传统强化学习有力替代。
硅基公司裁员二三事
作者回顾2017年入职硅基智能（当时叫南京必拓狮）的经历，讲述公司转型AI赛道的过程、产品开发情况，以及老板司马华鹏的想法和管理方式，还总结了创业应注意的教训。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
在智算中心，部分国产芯片闲置率高达80%？
随着人工智能发展，智算中心成为科技竞争“新基建”。国内建设热潮出现波动，存在投资热度与阶段性“算力过剩”并存现象，还面临国产芯片闲置率高问题，提出需“精细化”管理提升算力利用率 。
中国AI创业者重登GTC舞台：杨植麟用技术语言讲了一个智能上限突破的浪漫故事｜甲子光年
美国当地时间3月17日，月之暗面（Kimi）创始人杨植麟在英伟达GTC演讲，介绍Kimi技术路线图。他提出开源模型要出色，给出Token效率、长上下文、智能体集群三个概念，还探索了未来架构，且将创新开源。
3 个月达成 5 亿平台播放量，Wispr Flow 分享如何做好红人营销
Wispr Flow是语音输入法中出圈且具代表性的产品，增长快、付费强、使用频。其靠红人营销3个月在两平台获超5亿播放量。19岁实习生分享经验，涵盖招人、判断品味、分层管理等方面。
Cursor 重新定义 Agent：脑子再大，不如会翻书。
Cursor 分享博客指出，Dynamic Context Discovery 效果远好于 long context 方式，开启动态上下文可使总 Token 消耗降 46.9%，还能减成本、降延迟、提准确率，但也存在成本转嫁、工程复杂度高和安全风险等问题。
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
一句“Hi”，80$蒸发！O3-Pro：地表最强，也最“坑”的AI！
昨晚ChatGPT宕机，OpenAI 2折甩卖o3模型并发布o3 Pro。o3 Pro编程能力强，达全球top150程序员水准。官方称甩卖的o3是原版但推理快近40%。o3使用成本高，还需足够上下文。