搜索：自回归统一结构

「自回归统一结构」共找到 1152 篇相关文章

开源多模态大模型EarthMind，观测地球统一框架

地球观测数据复杂，现有多模态模型难适用。意大利、德国多所高校研究人员联合开源多模态大模型EarthMind，引入空间注意力提示模块，实现跨模态融合和多粒度理解，解决地球观测难题。

SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。

Gemini模型行为产品负责人Ani Baddepudi与谷歌AI Studio产品负责人探讨Gemini多模态技术，涉及设计理念、应用及发展方向。指出多模态对构建AGI重要，还介绍Gemini 2.5视频理解亮点与‘万物皆视觉’理念。

Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。

文章以高盛数字化架构设计为例，探讨AI时代技术分析的能力迁移。指出AI使信息采集整合成本降低，技术分析重心从找信息转向构建模型，建模仍是洞察主战场，AI可加速知识铺垫，但模型切换需人类完成。

上海人工智能实验室开源异构芯片通信库 DLSlime，作为 DeepLink 核心组件，它连接多应用和传输链路。具备异构互联、多链路支持等亮点，性能优于主流方案，已在实验室多个项目验证，还助力国产 AI 工具链发展。

Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。

在深度学习领域，经典 ReLU 函数因简洁性等优势受青睐，但有「死亡 ReLU 问题」。德国吕贝克大学等机构研究者引入 SUGAR 方法，不牺牲 ReLU 优势解决该问题，还设计 B - SiLU、NeLU 函数，实验显示性能提升显著。

MC大神sammyuri时隔3年发布新作，在MC中复刻ChatGPT，名为CraftGPT。虽参数量小，但用Transformer架构，能和用户交互。模型训练用Python和小数据集，视频存档公布助理解原理。

2026年6月18日，叶智文团队关于大脑旋转波的研究成果发表于《科学》。他们借助先进设备发现小鼠脑中旋转波，总结特征、验证其与全脑及行为关联，还指出其类似Transformer注意力机制，未来将继续深入研究。