搜索：长上下文模型

「长上下文模型」共找到 8183 篇相关文章

万字长文！大模型LLM推理优化技术总结

文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。

沉寂9个月后，Alexandr Wang带队的Meta发布新一代模型Muse Spark。它是原生多模态推理模型，性能媲美Gemini Pro和GPT 5.4，在多领域有应用潜力。不过闭源引争议，且在部分领域有短板。

文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO，重点指出Qwen团队发现GRPO有稳定性问题，会致模型崩溃，进而提出新算法GSPO，实验显示其效率和可扩展性更佳。

Qwen团队深夜开源两个端侧模型Qwen3 - 4B - Instruct - 2507和Qwen3 - 4B - Thinking - 2507，尺寸对端侧友好，支持256k上下文。后者在AIME25测评得分超Claude 4 Opus，两模型能力较前作均有提升。

一款仅4B大小的开源模型Jan-v1，声称能平替Perplexity Pro，且完全免费、支持本地部署。实测发现，它在检索增强生成、上下文深度分析等能力上表现不错，入门级显卡即可带动本地部署。

DeepSeek-V4发布，是开源社区关键分水岭。它解决超长文本处理效率痛点，架构与优化有多项突破，降低算力消耗和成本，适配国产芯片，性能比肩顶级闭源模型，推动开源社区两大未来趋势。

MMAR基准测试对30款音频相关模型进行测试，结果显示，多数开源模型面对复杂音频推理任务远未达实用水平，音乐任务中所有模型表现不佳，且有显式推理能力的模型表现更优。

近年来大语言模型参数膨胀，成本升高，业界重注小语言模型。近日，Boss直聘南北阁大模型实验室发布仅30亿参数的Nanbeige4 - 3B，在多方面媲美甚至超越通义千问Qwen3系列模型，开源印证小模型潜力。

前OpenAI工程师、Codex项目早期研发者Calvin French - Owen在播客中锐评代码智能体，他偏爱Claude Code，称其编程提速5倍，优势在上下文拆分能力。他还点出OpenAI与Anthropic产品理念差异，分享上下文管理经验。

Manus项目团队分享上下文工程秘诀。他们押注于此，使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则，助构建AI Agent者少走弯路。