「非Transformer架构」共找到 2517 篇相关文章
港大nanobot4,000行代码复刻Clawdbot
港大nanobot用4000行代码复刻Clawdbot，解决AI从‘被动回答’到‘主动服务’问题。它有核心架构Agent Loop，三大主动触发机制，模块化设计，还坚持少即是多原则，让AI成自动化助手。
语音界Sora！微软刚开源新模型，一次生成90分钟语音、3200倍压缩率
今天凌晨微软研究院开源创新音频模型VibeVoice - 1.5B，有诸多技术突破，如可合成90分钟语音、支持4名发言人、3200倍音频压缩等，还首创双tokenizer协同架构。未来微软还会开源更大参数模型。
Hugging Face开源顶级模型：双模式推理+128K上下文，最强3B
今天凌晨，Hugging Face开源顶级小参数模型SmolLM3，参数30亿，性能超同类。它有128k上下文窗口，支持6种语言、双推理模式。架构细节等全开放，联合创始人强烈推荐，称是3B领域SOTA。
图解Vllm V1系列4：加载模型权重(load_model)
文章聚焦vllm加载模型权重的流程。从入口函数切入，详细分析DefaultModelLoader的工作步骤，包括初始化模型架构和实际加载权重，还给出各步骤代码及作用，为想操作load_model的人提供框架。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
谢赛宁苏昊CVPR25获奖！华人博士王建元一作拿下最佳论文
CVPR 2025奖项揭晓，谢赛宁、苏昊获青年学者奖。最佳论文《VGGT: Visual Geometry Grounded Transformer》由王建元一作。还介绍了最佳学生论文及4篇荣誉提名论文的亮点与应用前景。
DeepSeek 新模型 R1-0528 悄悄开源，与o3 相当，实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528，基于DeepSeek-V3-0324模型，架构和训练方法有改进，性能与o3相当，实测表现不错。
挑战扩散自回归统治！字节提出视觉生成第三种路线，让模型像人类一样边画边改
五一期间字节商业化技术团队研发出新一代视觉生成模型，其底层架构是全新的第三条路——生成精炼网络GRN。它能让AI像人一样边画边改，解决了现有模型的问题，在多项基准测试中刷新SOTA记录。
微软：LLM上下文学习并非真的学习！
微软研究指出大模型上下文学习（ICL）虽数学上符合学习定义，但只是拟合prompt内统计规律，非掌握任务本质。通过大量实验，得出如例子越多模型表现越好、语言不重要统计重要等7条关键发现。
面壁MiniCPM4推理速度3倍，碾压同尺寸Qwen3，阿里上眼药了~
面壁发布包含10个模型的MiniCPM4系列，其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点，还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。