「Transformer层」共找到 535 篇相关文章
Figma 如何使用 AI 来支持而不是取代设计师
Figma 在设计平台集成 AI,有自动命名层等功能,能将文本提示等转换为生产就绪代码。其 AI 功能基于早期基础设施,关键在于 Dev Mode 和 MCP 服务器,确保设计师掌控输出,降低制作软件障碍。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程,指出padding分max和sum模式,旧版sum padding浪费计算、影响cuda graph使用,v0.4.10后有优化,max padding仍待完善。
基于闪电注意力机制,创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈,多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax,从架构、创新模块、训练框架等多方面优化,表现突出。
YC AI 创业营 Day 2:纳德拉、吴恩达、Cursor CEO 都来了
YC AI创业营第二天,微软CEO纳德拉、吴恩达等七位重磅嘉宾围绕AI技术、创业等话题分享观点,如不要将AI拟人化,智能体将成新一代计算机等,还给出产品开发、创业等方面建议。
预测误差仅0.26mm,中科院自动化所×灵宝CASBOT团队让机器人提前“知道你要干嘛”
中科院自动化所与灵宝CASBOT提出DTRT方法获ICRA 2025录用。该方法利用Transformer和博弈论,将人类动态纳入长期预测,实验显示其预测精度和协作表现显著优于现有技术,有巨大应用潜力。
英伟达半数打工人身家过亿!难怪离职率低
一份调查显示英伟达约半数员工身家超2500万美元,超78%超百万美元。管理层富翁数字更惊人,公司离职率仅3.7%。其造富源于员工持股和限制性股票计划,近期又宣布芯片量产。
AIEC 2026:今天起,Agent开始成为企业里的「新员工」
AIEC 2026人工智能+生态大会在北京召开,聚焦AI从战略部署到产业实践。大会指出大模型发展风向已变,落地竞赛开启,未来AI将成企业员工,还探讨了Agent落地关键及人与AI关系等问题。
让Agent画思维导图稳固长期记忆:新框架实现稳定长期学习,准确率提升38%
中国电信人工智能研究院研究团队提出TeleMem框架,从数据结构层重新设计Agent记忆组织方式,使记忆可检索、累积、回溯和演化。该框架解决了传统RAG在长期记忆管理和持续学习方面的瓶颈,准确率提升38%。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
Agent规模化落地前夜,AI Infra的难题全都暴露了
随着AI Agent大规模落地,中国云服务市场结构转变,AI基础设施角色改变。InfoQ联合腾讯云发起「InfraTalk」直播,探讨AI Infra能力框架等。还解析其核心能力、难题、价值闭环标准及未来竞争焦点。