「语言模型微调」共找到 7990 篇相关文章
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
Temperature Scaling可大幅提高Test-Time Scaling瓶颈！
大型语言模型解决复杂推理问题时，测试时扩展（TTS）是提升性能的途径之一。但传统TTS依赖增加样本数量，性能提升有瓶颈。本文提出温度缩放新思路，实验表明其能大幅提升性能，还给出降低成本方法。
奥特曼亲自上阵，Images 2.0登顶王座！大米刻字，生图跨入GPT-5时代
OpenAI上线ChatGPT Images 2.0，奥特曼称其是从GPT - 3到GPT - 5的飞跃。它是首个‘会思考’的图像AI，能精准听懂中文指令、渲染复杂UI，在Arena榜单登顶，解决了多语言、风格等痛点。
AI三问：Agent、LLM、RAG，一文厘清！
文章介绍大语言模型（LLM）、检索增强生成（RAG）和AI智能体（Agent）三种架构。阐述其概念、工作原理、应用场景、优缺点，还做了横向对比，给出选用建议，最后提及混合架构与未来趋势。
从数据分布视角，重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链（CoT）推理。指出CoT并非真正推理，而是模仿，其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化，提醒勿过度依赖。
从检测到通用感知：构建空间智能的基础
本文整理自张磊在AICon 2025北京的分享，分析语言与视觉原生模型架构区别，介绍基于Transformer的物体检测算法及开集检测技术进展，如Grounding DINO和DINO - X，还探讨其在多领域的应用和潜力。
EMNLP 2025 浙大&蚂蚁 | 提出动态压缩CoT推理新方法：LightThinker
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理时产生大量中间步骤和文本，拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker，可动态压缩推理步骤，降低内存占用和计算成本。
ICLR 2026｜原生多模态推理新范式ThinkMorph ，让文字与图像在统一架构中共同演化
NUS、ZJU 等联合提出「ThinkMorph」，主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash，还涌现新能力。
Loss收敛不代表学会：腾讯混元ACL 2026拆解SFT训练中15.3%的“假学会”样本
大模型微调（SFT）是主流LLM落地方案，但大家默认训练完就是学完了。腾讯混元团队发现SFT存在不完全学习现象（ILP），论文完成了定义ILP、找根因、提诊断框架和验证干预等工作。
从“暴力烧Token”到“系统工程”：OpenAI与华为的两条 AI 编程路径
文章对比OpenAI与华为的AI编程路径，指出模型中心派靠推高上下文窗口但有成本高、延迟大等问题；工具驱动派如Cursor和华为云码道重构IDE工具。码道将任务解耦，通过多技术实现性价比，还介绍了底层基石及其实测表现。