实时计算」共找到 1010 篇相关文章

产品应用7

PDL 在 SGLang Kimi K3 中的应用

文章介绍 PDL 在 SGLang Kimi K3 中的应用,K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题,阐述计算链和通信链上的应用,还提及性能数据和实现问题。

GiantPandaLLM
新闻资讯7

翁荔创业大模型首秀!告别“120亿美元估值0模型”

Thinking Machines Lab发布首个模型TML - Interaction - Small,联合创始人翁荔演示。该模型让实时交互成原生能力,响应延迟比GPT - realtime - 2.0快4倍,解决了多数AI“回合制”问题,还介绍了实现机制和公司过往情况。

量子位
算法论文8

斯坦福&英伟达提出新范式:推翻Scale Law,在“推理”阶段自我进化,超越人类专家

斯坦福和英伟达提出 TTT - Discover 新范式,允许模型在测试时继续训练,针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件,实验在多领域碾压人类专家与同行,但在部分领域落地有局限且计算成本高。

深度学习自然语言处理
推荐文章8

万字长谈丨同济工智院华先胜:工程智能,是 AI 的「成人礼」

雷峰网·AI科技评论对话同济工智院华先胜,探讨工程智能。他认为工程智能是AI与工程深度融合,要从数字走向物理世界,构建体系,实现人机共生,还介绍了研究院成果、灵感计算及操作系统架构等。

AI科技评论
算法论文7

从deepseek v4的受限流线型超链接mHC谈架构优化

文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。

Agent的潜意识
开源动态8

Transformer 中的专家混合模型 (MoE)

文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。

Hugging Face
推荐文章7

Dario Amodei真的很焦虑...

文章围绕Dario Amodei的采访展开,探讨AI多方面问题。他坚信计算要素假说,认为RL与预训练有相似规模化现象;预计一两年编码达AGI,十年内信心90%;谈AI盈利、算力采购、应用扩散等,还提及机器人革命和AGI定价。

AI寒武纪
推荐文章7

【博客转载】CUDA Reduction

文章来自Lei Mao,介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性,接着实现两个批量归约求和kernel,还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。

GiantPandaLLM
产品应用8

文库 GenFlow 2.0,如何把 AI Agent 卷成“专家级”?

百度启动文库与网盘AI重构工程,8月18日GenFlow2.0发布。它生成的报告格式专业,能让用户实时干预任务运行,HTML在线报告交付体验好。其靠100多个专家Agent工作,构建了清晰产品层次和分层策略。

特工宇宙
开源动态8

让世界模型推理效率提升70倍:上海AI Lab用“恒算力”破解长时记忆与交互瓶颈

上海AI Lab联合多家机构开源Yume1.5,针对视频生成构建可交互“世界模型”的核心难题,提出时空信道联合建模(TSCM),实现近似恒定计算成本的全局记忆访问,展示了世界模型工程化落地的可行路径。

量子位