「Transformer网络」共找到 515 篇相关文章
谢赛宁新作：VAE退役，RAE当立
谢赛宁团队研究表明VAE时代结束，RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器，能提供高质量重建结果，有语义丰富潜空间，支持可扩展架构，收敛快，在ImageNet图像生成效果强劲。
全球AI算力大战变天！十万卡算力集群爆表，国产IB真香？
大模型竞赛进入万卡、十万卡时代，网络取代算力成新瓶颈。过去RoCE因成本优势受青睐，但集群规模扩大后运维复杂。IB架构以其稳定性迎来价值重估，国产IB方案突破或改变技术路线选择。
我烧了上亿token玩Clawdbot，结果发现国产平替更香，还免费。
作者花上亿token研究Clawdbot，发现其虽火但贵，Cowork也因收费和网络限制被盖过热度。作者转而探寻国内平替，介绍阿里云上线Moltbot云服务，重点推荐阿里QoderWork，测试后认为它是能打的免费平替。
马斯克说到做到：开源X平台核心推荐算法
X（原Twitter）开源内容推荐Feed on X召回、精排推理、策略代码，模型参数配置较小，应是简化Demo版。召回用双塔模型，精排用双层Transformer，还介绍了系统架构、模型细节等。
The Batch：826 | 提高输出准确性的记忆层
通常提高大语言模型事实准确性需更大模型规模，会增加计算成本。Meta研究人员在transformer架构加可训练记忆层，可高效存储提取信息，提升计算效率，测试显示其能提升模型输出质量。
刚刚，何恺明团队新作，「嵌入式语言流」ELF来了
何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。
训练大模型玩《反恐精英》：自带外挂一枪爆头，堪比职业玩家
动视暴雪、斯坦福大学和英伟达等研究人员基于职业玩家游戏数据和Transformer架构，开发游戏大模型MLMOVE。在《反恐精英：全球攻势》测试中，它表现出色，性能超现有机器人，还具提前预判移动等创新。
LLM for AIOps：是泡沫还是银弹？智能运维的争议、破局与未来
大模型浪潮下，LLM Agent 在运维领域既被寄予厚望，也饱受争议。「AI 进化论」第六期直播聚焦此话题，阿里云冯富秋和云杉网络向阳从痛点、破局、未来规划解析 LLM 与 OS 协同之道。
GEO中，llms.txt是个啥？
GEO中llms.txt是新兴网络标准提案，分提案A（访问控制）和提案B（推理指导）。提案A类似robots.txt，控制内容用于模型训练；提案B是Markdown文件，助LLM理解网站。作者整理指南分享，盼业内出标准。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。