「系统架构思维」共找到 3464 篇相关文章
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
Reasoning新突破：SoftCoT++如何让LLM‘多想几条路’？
LLM推理依赖‘思维链’，传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’，拆分‘思考’与‘推理’，用专用初始token和对比学习，实验中全面超越传统方法。
美团之后，京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。
刚刚，OpenAI发布CoT监控，增强AI Agent自主能力
今天凌晨，OpenAI发布思维链（CoT）监控技术论文，用于监督AI Agent，增强其自主性。思维链监控可调试故障、合规审计，是构建安全透明AI的蓝图，文中还提及CoT监控必要性及有效方法。
我是微软工程师，编程了30多年，如今我几乎不再编程了
微软资深工程师 Paul Payne 分享编程 30 多年感受，认为 AI 正颠覆软件工程领域。他所在团队研究 LLM 驱动系统，系统从程序员手中接走大量工作，Amplifier 等工具让编程变得更简单，人类程序员价值将升华。
AI三问：Agent、LLM、RAG，一文厘清！
文章介绍大语言模型（LLM）、检索增强生成（RAG）和AI智能体（Agent）三种架构。阐述其概念、工作原理、应用场景、优缺点，还做了横向对比，给出选用建议，最后提及混合架构与未来趋势。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
3000块钱，这支中国团队把ChatGPT成功的“秘密”用在了机器人训练上
国内穹明智能团队推出千元级手持采集系统 UMI ver.2 并开源。该系统精度达毫米级、能双臂协同，成本低、部署快。团队认为数据是关键，还计划搭建机器人数据 infra，预计新模型范式很快出现。
腾讯发布大模型思考早停算法SpecExit，效果无损，端到端加速2.5倍！
腾讯为破解大模型长思维链效率难题，提出思考早停算法SpecExit，将思考早停与投机采样融合，在不影响准确性前提下，在vLLM上实现端到端加速2.5倍，还能缩短思维链长度。