搜索：长上下文语言模型

「长上下文语言模型」共找到 8146 篇相关文章

印度国家级大模型上线两天仅 300 余次下载，投资人直呼“尴尬”：韩国大学生模型都有20万！

印度 Sarvam AI 发布国家级模型 Sarvam - M，虽被赞为本土 AI 研究突破，支持 10 种印度本地语言，但上线两天仅 334 次下载，投资人批评其成果‘令人尴尬’，引发社区激烈争论。

文章提出“上下文工程”学科，通过整合1400余篇论文构建“基础组件 - 系统实现”框架。它将上下文定义为动态结构化信息集合，揭示LLMs理解强于生成的矛盾，为AI研究指明方向。

OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。

中国科学院自动化研究所、腾讯AI Lab团队从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上性能显著优于传统算法。

清华大学研究团队深度解剖大语言模型微观机制，确认幻觉关联神经元存在，揭示其与过度服从行为相关。通过干预神经元激活状态可增减模型幻觉行为，为开发可靠 AI 系统提供靶点。

在大语言模型加速进入高风险应用场景当下，“安全对齐”是挑战。如今广泛采用的“浅对齐”脆弱不堪。清华团队提出STAIR框架，能提升开源模型鲁棒性，还推出RealSafe - R1模型进行安全对齐。

FACTS 基准测试套件由 FACTS 团队与 Kaggle 联合开发，基于原 FACTS Grounding Benchmark 增加三个新基准，可从四个维度评估大模型事实性。初步结果显示进展与挑战并存，多模态成难题。

去年评测国产模型写高考作文能力时，各模型问题不少，如用词重复、字数不足。今年再次测试7个国产模型，能力有指数级提升，文采惊人，扣题方面通义千问和文心一言表现出色。文末还有海外模型“翻车”彩蛋。

香港城市大学王茂林等提出 EI - BERT 框架，解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化，实现 99.5% 压缩率。在多任务中表现出色，已在支付宝大规模应用。

李飞飞创业公司 World Labs 发布新一代世界模型 Atlas，它是全模态模型，能处理四模态数据。其核心为空间上下文设计，评测成绩不错，应用场景丰富，公司发展节奏密集，产品路径有转向。