「非Transformer架构」共找到 2539 篇相关文章
LLM-based Agent的代码生成综述
这篇2025年的综述指出，传统代码生成技术难完成复杂开发任务，而基于大语言模型（LLM）的代码生成代理应运而生。它把LLM作为“大脑”，具备自主规划等能力。文章梳理了该领域的核心特征、技术体系、应用实践等，也剖析了挑战与未来方向。
优化搜索系统：平衡速度、相关性和可伸缩性
这篇文章基于作者在 2024 年旧金山 QCon 大会演讲，探讨搜索系统优化。以优步外卖为例，分析其在数据索引、检索和排名方面挑战，介绍优化技术及对用户体验和系统性能影响，还提及架构、分片技术等内容。
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。
杨植麟被梁文锋叫醒了！Kimi新模型发布即开源，1T参数全线SOTA
172天后，Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构，1T参数，激活参数32B，在多任务上领先，发布即开源，还分享技术细节，实测有亮点也待优化，展现回归之势。
甲小姐对话彭志辉：既然选择做公众人物，就必须接受被期待的代价 | 甲子光年
甲子光年的甲小姐对话智元机器人联合创始人彭志辉，他称公司是具身行业估值“撑伞人”，采用全栈自研战略。双方还探讨融资、战略、市场、技术、商业、组织等话题，他分享公司发展现状、前景及应对策略。
AI七个月突破数学家“围剿”反超人类！14位数学家深挖原始推理token：不靠死记硬背靠直觉
大模型o3 - mini - high在7个月内，于FrontierMath基准测试中，答题得分从2%提升到22%，超人类团队平均水平。数学家分析其推理记录，发现它靠直觉而非死记硬背解题，但也存在缺乏创造力等局限。
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
华为+DeepSeek，推理性能创新高！技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。