上下文成本」共找到 2088 篇相关文章

开源动态8

SGLang Team:在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek

本文介绍 SGLang 团队在 96 个 H100 GPU 上部署 DeepSeek 的方法。利用 PD 分解和大规模专家并行性,SGLang 实现高吞吐量,成本低。博客探讨并行设计、优化方法,所有组件开源,也指出了当前局限与未来方向。

GiantPandaLLM
开源动态8

114B参数、6B激活,Sand.ai刚刚把全球首个千亿MoE视频生成模型开源了

Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview,总参数114B,单次前向激活约6B,成本低效果好。该模型解决了视频生成Scaling难题,架构、系统设计出色,开源将改变行业规则。

量子位
算法论文8

DeepMind:Transformer存在拓扑缺陷,思维链治标不治本

谷歌DeepMind论文指出,Transformer架构不擅长追踪状态,思维链只是给结构性缺陷打补丁,成本高。论文主张用循环架构替代或补充纯前馈结构,还提出多个研究方向,认为下一代模型需构建‘流动的现实表示’。

机器之心
产品应用7

龙虾开始自己拍电影了:我在 LibTV 里看着它从一句话做到成片

作者试用 AI 视频产品 LibTV,仅给 Claude Code 发一句话“「黑神话哪吒」视频制作”,约 10 分钟就得到视频初稿。LibTV 能搭好 0 到 60 的地基,留下可继续创作的画布,成本低还能多尝试,最后仍需人把关。

AI产品自由
算法论文7

JCP | 中科院力学所孙振旭研究员团队:关于物理信息神经网络的预处理:如何在流体力学中更好地利用数据

物理信息神经网络(PINNs)为求解微分方程正反问题提供灵活框架,但数据预处理领域待探索。本文提出数据预处理方法,通过对数据和方程归一化,在四个湍流案例中提升PINNs流场重建预测准确度,不增计算成本

力学与人工智能
算法论文8

北航,清华,北大联合发布: 异构智能体协同强化学习!

北航、清华、北大联合发布异构智能体协同强化学习论文。提出 HACRL 新范式,实现异构智能体双向互学与独立部署统一;还有 HACPO 算法弥合智能体差异。实验显示性能提升且成本降低,为多智能体协同学习指明方向。

机器之心
开源动态8

Meta 新成立超级智能实验室,让大模型RAG推理速度飙升30倍

Meta新成立超级智能实验室(MSL),首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码,减少计算量和延迟,在多任务测试中表现出色,为大模型部署提供实用方案。

AIGC开放社区
新闻资讯7

The Batch: 937 |OpenAI 退出视频生成领域

OpenAI计划关闭视频生成器Sora,将资源重新分配到更有盈利性的投资中。Sora虽能生成高质量视频,但生成耗时久、计算成本高,日亏损约100万美元,其与迪士尼的合作也将结束。

DeeplearningAI
新闻资讯7

315曝光的“AI投毒”原理:GEO这样操控大模型推荐

央视3·15晚会揭开AI“投毒”灰色产业链,利用GEO操控大模型推荐。介绍了训练数据污染、检索上下文劫持、提示注入诱导攻击三种“投毒”技术,还阐述了内容生产、渠道投放、效果强化的产业链运转流程。

量子位
新闻资讯7

狙击Gemini 3!OpenAI发布GPT-5.1-Codex-Max

Gemini 3力压全场,OpenAI发布GPT-5.1-Codex-Max应对。它突破上下文窗口限制,能连续工作超24小时,在METR达新SOTA,推理更快,还推出xhigh推理力度选项,已支持与多种工具结合。

量子位