「长文本优化」共找到 2117 篇相关文章
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
苹果在WWDC提到的本地模型，这家公司把它提速了220倍
苹果在WWDC开放本地语言模型API，让iPhone等有了“AI大脑”，但开发者面临模型运行慢问题。国产团队面壁智能发布MiniCPM 4.0，端侧处理长文本提速惊人，从多层面创新实现，还补上推理框架缺口。
ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解
在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。
腾讯王者归来：混元图像3.0登顶LMArena！一手实测全球最强图像AI
LMArena最新榜单显示，腾讯「混元图像3.0」在文生图任务中夺冠，碾压谷歌Nano banana和字节Seedream 4。它9月28日开源，性能对标闭源模型，有强大推理、语义理解能力，支持中英文长文本渲染。
MiniCPM 4.0极速狂飙，端侧模型的比赛，结束了！
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有InfLLM v2、CPM.cu等创新，基准测试碾压对手，适配全平台，还有科研、工具调用等功能，标志端侧长文本时代到来。
谷歌Gemini | 一次提示能耗≈看9秒电视剧?
谷歌发布Gemini能源消耗研究报告，称处理中位数文本提示能耗低，2024 - 2025年能耗降33倍、碳足迹减44倍，归功于全栈式优化。但专家质疑方法论，指出未算间接用水、碳排放核算不全等问题。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
小小具身智能成果，高中生在腾讯拿下！
腾讯2025星火挑战周上，八十余位高中生聚焦前沿课题取得诸多成果，如具身智能成果获张正友点赞。课题涉及具身智能与机器人、长文本理解等方向，不少项目有实用价值，68名同学获清北offer。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
Qwen全面升级非思考模型，3B激活、256K长文、性能直逼GPT-4o
Qwen全新非思考模型Qwen3-30B-A3B-Instruct-2507上线，仅激活3B参数，性能媲美顶尖闭源模型。相比前代，推理、对齐和长文本处理能力大幅提升，在通用能力上也全面进步，适合复杂人机交互应用。