「高稀疏度MoE结构」共找到 712 篇相关文章
2M大小模型定义表格理解极限，清华大学崔鹏团队开源LimiX-2M
大语言模型在结构化表格数据处理上表现不佳，清华大学崔鹏团队开源的 LimiX-2M 模型，仅 2M 参数，却能同时支持分类、回归等任务，性能超越经典模型，且训练、运行成本低，科研友好。
中国算力芯片的“新十年”
文章指出过去40年处理器芯片发展呈“否定之否定”，近年整机和平台厂商重归自研，异构计算成趋势。未来中国算力芯片突破口在指令系统结构统一，可把RISC - V作统一指令系统开发各类芯片。
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
谷歌：Embedding检索存在根本理论局限，Sparse、Graph才是未来？
近年来稠密向量检索广泛应用，社区认为embedding能‘包打一切’，但谷歌DeepMind从理论与实验指出其存在根本局限。相关实验代码和数据已开源，还给出替代方案。
初探：从0开始的AI-Agent开发踩坑实录
作者分享从0开始开发AI Agent实现开源应用Helm Chart自动化生成的历程。介绍了定义角色、明确AI能力边界等开发要点，尝试三种Agent范式，还提及实践痛点如AI可观测性不足、Prompt工程困境等。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
重磅！OpenAI时隔五年再发布开源模型gpt-oss：开源SOTA，可在16g笔记本运行
谷歌推出Genie 3后，OpenAI宣布发布开源推理模型gpt-oss，有gpt-oss-120b和gpt-oss-20b两个型号，采用混合专家架构和4位量化方案，能快速推理，原生支持128k上下文长度。文章还介绍了模型表现、训练等情况。
我去，还能这么玩？AI新宠DocExt：纯本地文档抽取，开源免费还无依赖！你还在为OCR头疼吗？
DocExt 是 Nanonets 开源项目，为全流程无 OCR、零云依赖的本地文档结构化提取工具，适用于多种文档类型，支持字段与表格识别。它零 OCR 误差小、可本地部署，还能灵活接入模型。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
中学生就能看懂：从零开始理解LLM内部原理【八】｜ 什么是残差连接？
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接，指出传统多层模型有网络退化和梯度传导困难问题，而残差连接能缓解，还说明了其工作原理和可行性。