「架构技术」共找到 4182 篇相关文章
逆强化学习全新视角的大模型对齐技术
文章从逆强化学习(IRL)视角回顾LLM对齐进展。先介绍强化学习基础及挑战,将LLM生成过程化为MDP,探讨无奖励函数的MDP,说明需神经奖励模型,还阐述通过奖励建模实现IRL及多种优化方法。
刚刚,OpenAI新Transformer火了!Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法,思考Token减少但性能提升,不过其思考过程难监控。此前业界已对「循环Transformer」有研究,该架构适合数学编程任务,Astra实力获验证,GPT - 6或即将发布。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战,如算力、功耗等。介绍有道词典笔等硬件及应用,对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
刚刚,DeepSeek新模型MODEL1曝光,3处架构升级!
DeepSeek更新FlashMLA时曝光新模型MODEL1,从diff看它在MLA KV-Cache存储与访问方式上和V3/V3.2系列有3个本质差异,如物理排布更紧凑、引入‘extra’两段式cache、头维固定512×512。
AI研发新范式:基于技术方案全链路生成代码
文章指出过往代码补全方式存在局限,腾讯广告审核团队探索新AI开发范式。介绍业界AWS、Lovable范式,阐述审核团队实践范式,含定义、技术选型、过程标准化等,还提及进展、困难与未来展望。
吴晓波探展模力工场:开发者从技术到商业化的关键一跃
2025年9月25日,吴晓波在阿里云栖大会模力工场xAI交易所展台,指出AI应用落地痛点是连接问题。阿里云此前发布多项进展,模力工场承办“AI超级交易所”,其7个应用能解决企业痛点,还提供商业化加速服务。
刚刚,DeepSeek多模态技术范式公布,以视觉原语思考
DeepSeek发布多模态模型并公布技术报告,提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题,有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新,实验在多任务上超主流模型。
跟上 AI 的节奏:为演进式架构构建上下文存储库
本文探讨AI辅助开发带来的上下文认知断层问题。在开发中,AI前期提效但后期难题凸显,企业面临团队执行和管理层决策层面隐患。可通过融合三大工程规范构建上下文存储库解决,确保开发逻辑可控。
Cursor滑跪开源技术报告:Kimi基模这样微调能干翻Claude
Cursor放出Composer 2技术报告力证‘自研’,基于Kimi K2.5经持续预训练和异步强化学习,测试表现好。同时,杨植麟分享Kimi团队最新思考,认为大模型要规模化,断言大模型训练进入第三阶段。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。