「大规模语言模型」共找到 8022 篇相关文章
微软：LLM上下文学习并非真的学习！
微软研究指出大模型上下文学习（ICL）虽数学上符合学习定义，但只是拟合prompt内统计规律，非掌握任务本质。通过大量实验，得出如例子越多模型表现越好、语言不重要统计重要等7条关键发现。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
让外部知识“长入”模型：动态化与参数化 RAG 技术探索
检索增强生成（RAG）成大语言模型利用外部知识主流范式，但传统方法将其当黑箱，忽略动态需求和机制鸿沟。艾清遥博士介绍动态化和参数化检索增强技术，可提升准确性与适应性，减少计算开销。
75%预训练数据都能删！Jeff Dean新作：全自动筛除低质量数据
Google DeepMind团队开发的DataRater可全自动评估数据质量，用元学习筛选有价值数据，提升模型训练效率。它能减少计算量、提高性能，在低质量数据集效果佳，还能跨模型规模泛化。
超越ZIP的无损压缩来了！华盛顿大学让大模型成为无损文本压缩器
华盛顿大学SyFI实验室提出LLMc，利用大型语言模型进行无损文本压缩。基准测试显示其压缩率优于传统工具，且项目已开源。不过，当前版本存在效率、吞吐量等问题，应用范围也主要在自然语言。
递归神经网络的复兴：Mixture-of-Recursions
Google DeepMind研究者设计的语言模型，能判断关键单词并进行深度递归计算，通过轻量级“路由器”节省计算资源，在同等训练成本下表现显著优于传统模型，文中还提及其他解决动态算力分配问题的思路。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。