搜索：开放权重语言模型

「开放权重语言模型」共找到 1780 篇相关文章

MIT这篇RLM论文，给出了Scaling的另一种可能~

当大家普遍认为解决长上下文问题要靠扩大模型上下文窗口时，MIT 最新的 RLM 论文提出新路径。其 code 已开源，能实现无界上下文处理，可让任意大语言模型处理 10 万 +token。

加州大学伯克利分校等团队提出视觉思维链（CoVT）架构，让视觉语言模型推理时生成连续视觉信号。它内化轻量级专家能力，采用对齐策略和四阶段训练，实验显示性能提升，还具可解释性。

传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。

在大语言模型发展中，‘记忆’是智能体具备长期智能的关键。现有外部记忆系统有局限，Mem-α将强化学习引入大模型记忆管理体系，解决记忆难题，在性能、泛化等多方面表现出色。

阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。

在NeurIPS 2025，哥大与罗格斯提出LARGO，它不改提问，直接在模型“潜意识”动手脚，绕过安全防护输出不该说的话。其分三步攻击，成功率高、隐蔽且迁移性强，暴露大模型根本性弱点。

华盛顿大学SyFI实验室提出LLMc，利用大型语言模型进行无损文本压缩。基准测试显示其压缩率优于传统工具，且项目已开源。不过，当前版本存在效率、吞吐量等问题，应用范围也主要在自然语言。

OpenAI前CTO创办的Thinking Machines推出首款产品Tinker，这是用于微调语言模型的API，能简化LLM后训练过程，支持前沿模型，使用LoRA技术降低成本，还发布开源库，多高校团队已试用。

微软宣布 Azure Logic Apps（标准版）公开预览新功能，可充当 MCP 服务器，为开发者构建和管理代理提供灵活方式。MCP 是开放标准，让 LLM、AI 代理等与外部系统交互，此功能好处多。

凌晨1点，OpenAI发布针对编程优化的GPT-5-Codex，它能独立工作超7小时，可审查、重构大型项目。还宣布Codex升级，包括新CLI和IDE插件等，同时介绍安全保护措施、价格及可用性。