搜索：高稀疏度MoE结构

「高稀疏度MoE结构」共找到 710 篇相关文章

特征工程、模型结构、AIGC——大模型在推荐系统中的3大落地方向｜文末赠书

文章指出大模型在三个层次改变推荐系统，一是改变“知识学习”方式，带来知识输入革命；二是改变“智能体”结构，探索推荐模型新范式；三是创造“新世界”，实现个性化内容生成。还介绍了相应落地应用及对从业者的建议。

OpenAI官方宣布公司结构重大调整，将继续由非营利组织控制，现有营利部门成公益公司（PBC），非营利组织控制PBC并成大股东，二者使命相同。这是与相关部门对话后决定。

新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。

复杂文档处理是数据分析痛点，传统方法常因布局复杂失准。LandingAI团队在GitHub开源Python库Agentic - Doc，可从复杂文档提取结构化数据，支持多格式，新增多项功能，提升处理效率和准确性。

Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview，总参数114B，单次前向激活约6B，成本低效果好。该模型解决了视频生成Scaling难题，架构、系统设计出色，开源将改变行业规则。

AI 时代处理结构化数据成痛点，LLM 大模型难以满足生产要求。清华大学与稳准智能联合发布的 LimiX 系列模型，做到真正通用，在跑分和实际落地表现出色，其轻量级版本 LimiX - 2M 适合边缘设备和科研场景。

中国科学技术大学联合多所院校，在多功能双连通多尺度结构逆向设计领域取得突破，成果发表于Nature Communications。研究解决核心瓶颈，提供新范式，在多方面展现优势与潜力。

北邮百家AI团队与腾讯AILab提出MoE - CL架构用于LLM自进化持续指令微调。其结合‘解耦LoRA专家’与‘GAN对抗降噪’，在腾讯业务及基准测试中效果佳，降低人工成本，准确率优于主流方法。

GitHub爆火的隐形AI桌面助手Glass，开源2天Star超3.3K。它由Pickle团队开发，能捕捉屏幕和音频活动，转化为结构化信息。适合会议记录等场景，有屏幕活动捕捉等核心能力，提供不同系统安装方式。

Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。