Attention性能瓶颈」共找到 2427 篇相关文章

开源动态8

2M大小模型定义表格理解极限,清华大学崔鹏团队开源LimiX-2M

大语言模型在结构化表格数据处理上表现不佳,清华大学崔鹏团队开源的 LimiX-2M 模型,仅 2M 参数,却能同时支持分类、回归等任务,性能超越经典模型,且训练、运行成本低,科研友好。

机器之心
产品应用7

Qwen深度研究一夜升级!可生成网页和音频播客,新模型能认医生手写体

Qwen版深度研究加速进化,增加听觉和视觉输出,可生成网页和音频。改进功能同时更新模型,Qwen3 VL能识别医生手写体。实测新功能表现出色,Qwen3-VL系列更新后性能优异。

量子位
开源动态8

代码生成要变天了?被质疑架空后,Yann LeCun携320亿参数开源世界模型“杀回来了”

美国当地时间9月24日,Yann LeCun团队发布320亿参数代码世界模型CWM。它创新训练方式,能模拟代码执行。性能测试表现出色,还开放检查点。Meta AI业务重组,CWM发布或表明未彻底放弃开源。

InfoQ
开源动态7

The Batch: 862 | OpenAI 的重新"开放"

OpenAI 发布自 2019 年 GPT - 2 以来首个开源权重模型 gpt - oss 系列,含 gpt - oss - 120b 和 gpt - oss - 20b,为智能体应用设计,免费使用修改。介绍其输入输出、架构等,还对比了性能表现。

DeeplearningAI
推荐文章7

万字长文图解Qwen2.5-VL实现细节

文章作者今年年初写好,为防盗版一直内部分享,时隔半年因Qwen2.5-VL已渗入MLLM开发各场景而公开。从源码抽图例助理解,涵盖window attention等内容,排版全文见指定链接。

GiantPandaLLM
算法论文8

腾讯网关TGW:用户无感知快速迁移及故障自愈能力 | USENIX ATC '25

腾讯与清华联合论文入选USENIX ATC '25,阐述稳定运行多年的TGW网关架构,展示无损迁移、故障自愈及定位系统。该架构应对业务流量挑战,有高性能、高可用等特性,还分享运营经验。

腾讯技术工程
算法论文8

港中文薛天帆团队:实现 4K 全景视频生成,普通视频也能「长出空间」丨CVPR 2026

香港中文大学薛天帆团队提出CubeComposer框架,可将普通视角视频扩展成原生4K的360°视频。研究在两个数据集测试,结果显示其在多指标上优于基线。该成果突破技术上限,让普通人也能制作360°视频。

AI科技评论
算法论文7

谷歌研究院探索多智能体协调的扩展原则

谷歌研究院对180种智能体配置对照评估,得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异,还指出工具使用瓶颈等问题,且开发预测模型辅助架构选择。

InfoQ
算法论文8

清华联手千问重塑归一化范式,让 Transformer 回归「深度」学习

Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式,但面临权衡取舍。近日,清华黄高团队联合千问团队提出SiameseNorm,构建参数共享的平行通路,实现稳定训练并提升性能

机器之心
新闻资讯7

6张图看清中美AI竞赛:美国领先在哪,中国优势在哪

TIME杂志文章用六张图表解析中美AI竞争,指出美国在芯片控制、模型性能和商业变现领先,中国受算力瓶颈制约,但在人才基础和能源供给有优势,特朗普新出口规则或带来转机。

AI工程化