搜索：上下文信息密度

「上下文信息密度」共找到 1292 篇相关文章

微软深夜发布SambaY架构，Phi-4min加速10倍推理

微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。

作者分享给传统研发平台接入 Agent 开发能力的经验，介绍技术选型、方案落地、系统提示词优化、知识库建设等内容，还提及工具接入、上下文管理等方面，为想自建 Agent 的人提供启发。

主流OCR评测基准聚焦信息抽取，复杂图文推理任务中多模态大模型深度推理能力缺乏评估标准。OCR - Reasoning可系统性评估，还列举多种推理示例，并测评了Qwen2.5 - VL - 7B模型。

近期Anthropic分享构建多智能体研究系统最佳实践，提出8条研究智能体的提示工程与评估原则。其架构采用协调者 - 工作者模式，与传统RAG方法不同，使用多步骤搜索动态查找信息。

英属哥伦比亚大学等团队剖析Prompt在LLM的CoT推理中调控模型内部信息流，构建量化Prompt搜索空间复杂度理论框架。研究解释提示有效的原因，提供设计高效提示词思路，实验验证理论框架。

美国当地时间3月17日，月之暗面（Kimi）创始人杨植麟在英伟达GTC演讲，介绍Kimi技术路线图。他提出开源模型要出色，给出Token效率、长上下文、智能体集群三个概念，还探索了未来架构，且将创新开源。

Cursor 分享博客指出，Dynamic Context Discovery 效果远好于 long context 方式，开启动态上下文可使总 Token 消耗降 46.9%，还能减成本、降延迟、提准确率，但也存在成本转嫁、工程复杂度高和安全风险等问题。

Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。

过去一年，Coding Agent 改变开发者写代码方式，但进入长期开发仍会遗忘项目经验。MemoraX Code 试图解决此问题，构建了本地与云端记忆，让关键信息能被识别召回，且在赛事中表现出色，还能沉淀工程经验。

昨晚ChatGPT宕机，OpenAI 2折甩卖o3模型并发布o3 Pro。o3 Pro编程能力强，达全球top150程序员水准。官方称甩卖的o3是原版但推理快近40%。o3使用成本高，还需足够上下文。