「长文本处理」共找到 1801 篇相关文章
DeepSeek-V4发布！高效百万上下文智能普惠时代来了
DeepSeek-V4发布，是开源社区关键分水岭。它解决超长文本处理效率痛点，架构与优化有多项突破，降低算力消耗和成本，适配国产芯片，性能比肩顶级闭源模型，推动开源社区两大未来趋势。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文
谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。
ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解
在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。
1.9K Star 微软开源TTS王炸！90分钟超长语音合成，4人对话自然切换！
在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。
松下发布多模态大模型，文本、图像、音频随意切换
多模态数据处理成热点，但现有模型处理复杂任务有挑战。松下开发多模态大模型OmniFlow，采用模块化设计、多模态引导机制，实验显示其在多任务中有卓越表现。
使用 Node.js + OpenAI + MongoDB 实现文本向量知识库搜索
本文介绍用 Node.js、OpenAI Embedding API 和 MongoDB 实现文本向量知识库搜索系统，涵盖环境准备、文本切分与向量存储、本地语义检索等，还提及用 MongoDB Atlas 提升性能及后续延伸方向。
我MiniMax，用实习生处理数据，照样屠榜开源大模型
MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。
疯狂……韩国开发出强大的核灾难处理人形机器人。丑，但实用
韩国原子能研究院正开发用于核灾难响应和废料处理的人形机器人，目标是能举200公斤重物。与其他机器人相比，其举重能力优势明显。不过在真实核灾难现场应用还需长期测试。