搜索：整流流Transformer

「整流流Transformer」共找到 393 篇相关文章

200行python代码实现从Bigram模型到LLM

本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。

论文 'Spatial-Agent' 提出地理空间问答应建模为 'concept transformation'，引入 GeoFlow Graph 中间表示。它从自然语言问题构建图结构，再映射到工具调用。实验显示其对地图任务有帮助，还指出构建地图类 agent 需稳定数据源等。

AI视频生成迈入音视频同步新纪元，闭源巨头已展实力，而上海创智学院与Sand.ai联合发布的开源音视频生成基础模型daVinci - MagiHuman，以极简单流架构，2秒就能在1张H100显卡上生成精准音视频同步画面。

上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。

浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，用双重注意力机制实现布局精准锚定与身份高保真隔离，在基准测试中超越开源SOTA模型，对标GPT - 4o等闭源系统。

文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。

2025年超60%公众号运营者发现，粉丝被算法收归平台。从2020年起，订阅号改成信息流展示，推荐流量占比最高达90%。这对小号是机遇，但也带来内容陷阱等问题，还重塑用户认知，平台也面临商业和生态的博弈。

本文讲述杨晨从大厂运营离职后成为保安，白天观察人间百态，夜里用AI搞创作。他用AI为家人、朋友做工具，还帮公司做定制化工作流，赚了点小钱。他也想记录普通人故事，认为大家可借AI改变生活。

在机器人和具身智能领域，transformer模型又大又‘重’，边缘设备难以承受。东南大学、中南大学、明略科技联合提出的CompTrack论文，创新性解决AI模型处理稀疏数据的‘双重冗余’，在3D点云跟踪任务上实现精度和速度双优。

时隔一年，上一代AI生图顶流Flux带着新模型Flux.2杀回来了。该模型发布即开源，生图质量媲美谷歌Nano Banana，价格却便宜得多。它有多个版本可选，实测在指令遵循、精细控制方面有进步，但与Nano Banana Pro仍有差距。