搜索：长上下文大语言模型

「长上下文大语言模型」共找到 8146 篇相关文章

小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一

6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。

意大利罗马第一大学GLADIA Research Lab论文提出主流Transformer语言模型信息处理几乎不丢内容，是可逆的。实验验证其单射性，SIPIT算法能100%重建输入。研究有新视角，但也引发讨论。

社区消息显示DeepSeek正测试新模型DeepSeek - V4 - Lite - 285B，用OpenAI MRCR 8 - pin标准考察超长上下文信息检索能力。测试结果优异，但‘大海捞针’法或被DSA作弊，实际效果存疑，社区高度关注其进展。

Google将多年积累的翻译能力灌进开源大模型TranslateGemma，它基于Gemma 3，专为翻译任务调优，有3个规模版本，覆盖550种语言，能直接看图翻译，亮点颇多。

北美具身初创Skild AI发布全新机器人基础模型S1，主打上下文学习，能看示范视频完成复杂操作。在未见过任务上成功率达66%，远高于传统方法。其发展或让开发机器人技能像给ChatGPT写Prompt。

这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来，企业重心转向推理。Anthropic超OpenAI成市场头号玩家，开源模型采用趋缓，企业换模型重性能，AI支出从训练转向推理。

推理语言模型（RLMs）发展显著，DeepSeek - R1发布引发广泛影响且未完全开源。MiroMind等总结其复现研究，关注SFT和RLVR方向，介绍数据构建、方法设计、训练过程细节及实验关键发现。

普林斯顿大学助理教授刘壮在访谈中指出，架构没那么重要，数据、规模和记忆才是决定AI成败的关键。他认为ConvNet和Transformer性能差异源于训练细节；当前数据集远不够多样；大语言模型有语言空间的世界模型，但视觉空间的还缺失；记忆是瓶颈，智能体只是权宜之计；AI目前还替代不了研究生。

本文是Anthropic官方文章翻译，从提示词工程拓展到上下文工程，阐述其构建方法。介绍上下文工程对构建智能体的重要性、上下文构成，还提及上下文检索、智能体搜索及长期任务的上下文工程解决方案。

小米全新一代面向 Agent 的大模型家族官宣，包括 MiMo-V2-Pro Preview、MiMo-V2-Omni 和 MiMo-V2-TTS。MiMo-V2-Pro 性能优异，在多场景实测表现出色，技术有创新，API 开放且定价低，已融入小米多业务与生态。