搜索：超长文本生成

「超长文本生成」共找到 2541 篇相关文章

8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp

大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。

现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。

在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。

大语言模型为文本驱动动作生成带来新可能，但现有方法有局限。GigaAI提出Motion - R1框架，融合“思维链”机制，能分解指令、优化动作合成，虽有不足，但在测试中表现优于主流方法。

近日，Manus AI 推出文本转视频生成服务，支持单条提示完成视频制作，目前供部分订阅用户抢先体验，计划向所有用户开放，对标 OpenAI Sora 等竞品。其母公司获投资，还与微软合作，系统有独特优势。

谷歌DeepMind研究者分析下一像素预测在图像识别与生成任务中的扩展特性。实验显示其扩展趋势与文本类似但效率低，最优策略因任务和分辨率而异，预计未来五年逐像素建模可行。

德国AI初创平台SpAItial获1300万美元种子轮融资，发布超逼真3D基础模型。其核心技术能理解3D世界，可基于文本或图片生成3D场景，在多领域有革新可能，虽有竞争，但未来有望推动AI三维突破。

MIT CSAIL团队提出递归语言模型RLM，不改动模型架构，让GPT - 5、Qwen - 3等模型具备千万级token超长文本处理能力。它将上下文处理“外包”，实验显示其处理规模超前沿模型，复杂任务优势显著，多数场景性价比高。

OpenAI花1亿美金买Torch做「数据转接头」，想让ChatGPT成全科医生；Claude用超长文本窗口处理医学文献和数据。而NVIDIA投10亿与药企建实验室，用BioNeMo重写生命，开启药物生成新纪元。

Google最新发布的Genie 3能从文本生成交互式世界，实现24fps实时交互，分钟级一致性，720p分辨率。它取长补短，有出色记忆能力，物理表现自然，还能让智能体完成任务。不过目前是有限预览，有不足。