「混元3D世界模型1.0」共找到 9089 篇相关文章

算法论文8

FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾

文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。

GiantPandaLLM
开源动态8

sgl-kernel MoE Align Block Size Kernel 优化过程解析

文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代,包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。

GiantPandaLLM
算法论文8

27M参数战胜GPT-4!脑启发的分层Reasoning引擎如何重塑LLM

当前大语言模型(LLM)核心架构存在根本性缺陷,受大脑分层处理和多时间尺度启发,本文提出仅2700万参数的分层推理模型(HRM),免预训练与CoT标注,单次前向传播解决复杂任务,在ARC - AGI上超越GPT - 4等LLM。

深度学习自然语言处理
新闻资讯7

手握30亿、被蚂蚁狂挖人,转型被骂惨的王小川,真的翻身了?

在大模型竞争中,2023 年成立的百川战略收缩聚焦医疗,起初内外存疑。2025 年,AI 医疗技术与应用进展显著,今年初大厂入局。百川如今开源 Baichuan - M3 模型,王小川认为医疗已入应用阶段、多模态非主战场,且国内 To C 更好。

InfoQ
开源动态8

腾讯智能体开源大动作!关键技术都拿出来了,开发平台还全面升级

在2025腾讯全球数字生态大会上,腾讯云智能体开发平台3.0(ADP3.0)面向全球上线,关键智能体技术将持续开源。新版本功能更新多,还有多个落地案例,如帮伊利、华住等落地智能体。腾讯优图实验室也有开源计划。

量子位
开源动态8

【博客翻译】使用PyTorch加速生成式AI第四部分:Seamless M4T,快速优化

这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分,专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph,在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速,端到端推理2.7倍加速。

GiantPandaLLM
新闻资讯8

Anthropic刚发布了一份「AI抢饭碗报告」:学历越高越「被抢」

Anthropic《经济指数报告》揭示,任务越复杂AI加速越猛,学历高的工作受影响大。还指出人机协作能大幅提升任务时长,不同国家AI应用有贫富和技术代差,也提到了‘去技能化’问题及对生产率的预测。

新智元
开源动态8

R-HORIZON:长程推理时代来临,复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式

复旦大学与美团LongCat Team联合推出R - HORIZON,它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据,评测发现主流模型长链推理性能断崖式下降,还分析出三大瓶颈,训练后模型性能双重提升。

机器之心
推荐文章8

八年孤独,Iceberg 赢得世界

本文讲述 Iceberg 的发展历程、技术特性、用户案例及商业生态。它从解决 Hive 痛点孵化,经开发者、客户、厂商推动成开放表格式标准。其 V3 Spec 补充短板,社区开始构想 V4 。诸多科技大厂深度使用并贡献代码。

InfoQ
推荐文章8

AI 的终极护城河不是模型

硅谷风投投资人Jaya Gupta指出,当AI领域趋同,产品易被复制时,公司组织形态才是难以复制的护城河。如OpenAI、Palantir围绕新型工作创造新型机构,吸引特定人才。公司应匹配叙事与组织形态,选人要注重结构认可。

五源资本 5Y Capital