「长文本推理」共找到 2843 篇相关文章
3A大作!阿里ROLL团队从基建->算法->机理,推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架,推动「强化学习用于大语言模型(RL4LLM)」迈向新范式。Async架构提升GPU利用率,AsyPPO降低计算资源消耗,Attention机制提升训练效率与可解释性。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton,实现多学科问题与 LLM 统一预训练和推理,挑战主流 AGI 技术路线。它有三项创新,在多专业学科任务表现出色,还提出宇宙尺度压缩构想。
别再只关注KV Cache了! LLM稀疏性新洞察:为何模型越深越稀疏?UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收,它提出高效推理框架,从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略,设计的UNCOMP框架优化KV Cache,实验效果佳。
Sam亲自泼冷水,GPT-5意外失手:我们对AI的期待,是否已被整个行业误判?
科技行业集体转向 AI,高管强调其变革性,可 OpenAI 的 Sam Altman 却泼冷水,提醒投资者高估回报。文中围绕‘AI 是否放缓’展开讨论,还分析了 GPT - 5 发布遇冷原因、AI 对就业影响等,指出 AI 发展多且快,未来潜力巨大。
仅100种子题,合成数据质量超GPT-5,阿里、上交提出Socratic-Zero框架
阿里巴巴与上交大联合提出 Socratic-Zero 框架,仅从 100 个种子问题出发,通过三智能体协同进化生成高质量课程。该框架合成数据质量超 GPT - 5 等,Solver 性能提升显著,工程友好,开启零数据自进化新路径。
Embedding黑箱成为历史!这个新框架让模型“先解释,再学Embedding”
来自多高校研究人员推出可解释的生成式Embedding框架GRACE,解决传统文本表征模型黑箱式表征瓶颈。它重新定义对比学习信号,含三个关键模块,训练双模式统一,实验跨任务提升且不损生成能力。
DeepSeek开源新模型,提出上下文光学压缩:LLM的新记忆方式
DeepSeek开源OCR模型,探索用多少视觉信息让LLM理解文本。实验表明1000字文档约需100个vision tokens,压缩比10倍、准确率97%。还提出模拟人类遗忘等想法,有多种应用场景,且完全开源。
英伟达用NIM + NV-Tesseract模型,提高芯片生产良率
芯片制造良率控制难题待解,传统方法各有局限。英伟达推出NV - Tesseract模型家族和NIM推理微服务,二者结合用于半导体晶圆厂生产,可实时发现问题、预测故障,降低成本,为制造打开新大门。
告别微调!斯坦福提出Agentic上下文工程
当前微调大语言模型成本高、不灵活,‘上下文适应’方法有短板。斯坦福大学等提出ACE框架,将上下文变为动态‘战术手册’,解决现有问题。论文通过实验验证其在性能、成本和效率上优势,为大模型发展指明新方向。
Code2Video:代码驱动、智能体协同、精准可控的教学视频生成
新加坡国立大学 ShowLab 团队提出 Code2Video,一种基于代码驱动的视频生成新范式。它以可执行代码为媒介,结合三智能体协同框架,解决了现有文生视频方法在教育场景的不足,在美学和教学效果指标上有明显提升。