「128K上下文」共找到 1234 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
致敬Kimi K2：基于slime的全流程INT4量化感知RL训练
受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。
1M 上下文时代太费 Token，告诉你我的 Coding Agent 省钱方法
当下GPT-5.5等模型原生支持1M上下文，虽能支撑长任务，但易被噪音干扰且费Token。作者以Claude Code为例，介绍做好会话管理的多种省钱方法，如根据任务选择会话策略、利用rewind功能等。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
升级版Qwen3开源模型深夜来袭，超越Kimi-K2、DeepSeek-V3
深夜阿里千问推出 Qwen3-235B-A22B-Instruct-2507-FP8 版本。新模型通用能力显著提升，在多测评中表现出色，超 Kimi-K2 等模型。还增强多语言知识覆盖等性能，已在魔搭和 HuggingFace 开源。
50个Agent分工干活，Kimi K2.5的Agent“军团”把我看呆了。。。
Kimi K2.5今日下午发布并开源，具备多模态能力。它能根据视频、链接等复刻网站，有Visual Edit功能且自动部署上线。还有Agent Swarm场景，多Agent协作解决复杂问题，应用体验佳。
8.6K star！！实时翻译、离线使用、支持50+语言，这个免费开源项目牛皮！
介绍开源项目RTranslator，它为Android平台实时翻译应用，用Meta的NLLB模型与OpenAI Whisper技术，本地处理保障质量与隐私。有双模式对话等功能，在Github获8.6K star。
这个新生图模型有点夯：4K直出的，国产的，开源的！
商汤新开源的生图模型SenseNova U1.5-Lite-Preview亮点十足，它是国产、4K直出、轻量且可指哪儿改哪儿的原生统一多模态模型。能应对复杂创作和编辑任务，技术源于NEO-Unify架构，评测成绩佳，不过还是早期预览版。
300个AI员工，跑满4000步不崩，Kimi新一代模型K2.6来了
月之暗面开源发布 Kimi K2.6 模型，在通用智能体、代码编写和视觉理解等综合能力上全面跃升。它在多项测试成绩领先，能连续工作13小时，还在全栈开发、多智能体协作等方面有出色表现。
大模型“拼好题”，45K数据撬动18%提升，数学问题拒绝死记硬背 | MathFusion
上海AI Lab等团队提出MathFusion，通过三种“融合策略”生成新的融合数据集MathFusionQA，仅用45K合成指令，在多基准测试中平均准确率提升18.0个百分点，增强模型解决数学问题的能力。