「计算架构」共找到 2400 篇相关文章
视觉Token注入CLIP语义,走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP,将低级视觉Token与高级CLIP语义结合,支持端到端自回归训练,可接入LLM框架,降低计算与数据门槛,在多模态任务中表现优异,代码已开源。
LLM-based Agent的代码生成综述
这篇2025年的综述指出,传统代码生成技术难完成复杂开发任务,而基于大语言模型(LLM)的代码生成代理应运而生。它把LLM作为“大脑”,具备自主规划等能力。文章梳理了该领域的核心特征、技术体系、应用实践等,也剖析了挑战与未来方向。
扩散模型+自进化:这篇论文让Deep Researcher错误率直降70%
论文提出测试时扩散深度研究代理(TTD-DR),将报告生成建模为扩散过程,有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案,为AI研究助手落地提供新范式。
穿上唐装,黄仁勋在急什么?
北京时间7月16日,黄仁勋穿唐装在「链博会」演讲。此前英伟达H20芯片获出口资格,RTX Pro芯片将在华发售。他与雷军聊AI和小米汽车,谈H20芯片、Meta抢人等话题,还称财务自由无梦想。
优化搜索系统:平衡速度、相关性和可伸缩性
这篇文章基于作者在 2024 年旧金山 QCon 大会演讲,探讨搜索系统优化。以优步外卖为例,分析其在数据索引、检索和排名方面挑战,介绍优化技术及对用户体验和系统性能影响,还提及架构、分片技术等内容。
腾讯混元A13B用130亿参数达到千亿级效果,Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数,却能和千亿级大模型竞争,获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’,依托高质量预训练和结构化后训练,多方面表现突出且已全面开源。
杨植麟被梁文锋叫醒了!Kimi新模型发布即开源,1T参数全线SOTA
172天后,Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构,1T参数,激活参数32B,在多任务上领先,发布即开源,还分享技术细节,实测有亮点也待优化,展现回归之势。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开,介绍其为线程私有存储空间,访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例,展示数组索引复杂度对存储位置的影响,还给出判断存储位置的方法及优化建议。
无损减少80%激活值内存,提升5倍训练序列长度,仅需两行代码
港中文(深圳)和上海交通大学团队提出 StreamBP 算法,通过线性分解和分步计算,将大语言模型训练激活值内存降至梯度检查点的 20%,在相同内存下最大序列长度为其 2.8 - 5.5 倍,代码已开源。
华为+DeepSeek,推理性能创新高!技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高,全面超越英伟达Hopper架构。其采用‘以数学补物理’方式,还将全面开源。团队从多方面优化,在不同硬件上取得优异性能,本周还将举办技术披露周。