「长文本建模」共找到 1204 篇相关文章
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
小小具身智能成果，高中生在腾讯拿下！
腾讯2025星火挑战周上，八十余位高中生聚焦前沿课题取得诸多成果，如具身智能成果获张正友点赞。课题涉及具身智能与机器人、长文本理解等方向，不少项目有实用价值，68名同学获清北offer。
Qwen全面升级非思考模型，3B激活、256K长文、性能直逼GPT-4o
Qwen全新非思考模型Qwen3-30B-A3B-Instruct-2507上线，仅激活3B参数，性能媲美顶尖闭源模型。相比前代，推理、对齐和长文本处理能力大幅提升，在通用能力上也全面进步，适合复杂人机交互应用。
不吹不黑，GPT-5代码能力究竟怎么样？跟 Gemini 和 Claude 的对比测试给你答案
作者测试了 GPT-5 的代码能力，并与 Gemini 和 Claude 对比。在不同代码任务中，各模型表现不同。如在生成网页任务里，GPT-5 部分结果不错，但受 32K 上下文限制，长文本处理不如 Gemini，硬实力也不如 Claude。
「Next-Token」范式改变！刚刚，强化学习预训练来了
微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。
AI办公斩杀线，一页文档多少钱
腾讯混元Hy4 preview正式发布并开源，参数770B，是开源阵营里参数最大的Apache 2.0模型。它能处理长文本，官方定位有软件工程、办公分析等四个方向。还分析了处理一页文档的成本，指出办公AI下半场重在‘读懂’。
95%的人还在手动提取数据，用这个工具秒变结构化
文章介绍Google开源的LangExtract，它基于大语言模型，能将非结构化文本转为结构化数据。有精准溯源、少样本定义等6大优势，可3步完成安装配置，还介绍基础使用、长文档处理、多模型支持及实战案例等内容。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
松下发布多模态大模型，文本、图像、音频随意切换
多模态数据处理成热点，但现有模型处理复杂任务有挑战。松下开发多模态大模型OmniFlow，采用模块化设计、多模态引导机制，实验显示其在多任务中有卓越表现。
Communications Engineering | 西湖大学&女王大学：面向阵风气动建模的表面压力时空动力学关联研究
西湖大学联合女王大学团队提出 Graph Transformer 框架用于阵风气动建模，融合图神经网络与注意力机制，从表面压力信号学时空关联，实现气动力准确预测，为AI在复杂气动建模提供新思路。