「文章转述」共找到 1483 篇相关文章
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。
表格建模也能Scaling?树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练,在表格数据和行为序列预训练上有成果,验证了 Scaling Law,预示结构化数据建模范式将改变。
Hermes Agent 技术深度拆解:36000 Star 背后的架构设计,以及你该怎么用它
Hermes Agent 9 个月获 36800 Star,解决记忆断裂、能力天花板和平台绑定问题。它有四层记忆架构、自主技能进化,支持 200+ 模型,还有 40+ 内置工具、15 个平台适配器。最新 v0.8.0 版本有多项更新,文章还给出使用建议和对比。
第一章:AI 技术前沿全景
文章聚焦AI Agent技术前沿,阐述大语言模型三次能力跃迁,从涌现能力到对齐指令遵循,再到推理与行动。还提及Scaling Law变化,推理时计算扩展更划算,介绍代表性推理方案及多模态融合,指出Agent打破传统对话AI局限。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。
突破一亿Token极限:EverMind提出MSA架构,实现大模型高效端到端长时记忆
机器之心发布文章介绍,大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构,突破扩展性、精度和效率的不可能三角,实现100M长度的大模型长时记忆框架。
还不会用 OpenClaw?已经有人靠龙虾月入 7 万美元了
文章介绍 OpenClaw 的应用场景,如国外小哥靠它和 11 个应用月赚 7.3 万美元。还阐述其在自动化内容、找网红合作、客户支持、KPI 报告及 X 与 YouTube 内容自动化等方面的作用,强调能节省时间和成本。
Dario Amodei真的很焦虑...
文章围绕Dario Amodei的采访展开,探讨AI多方面问题。他坚信计算要素假说,认为RL与预训练有相似规模化现象;预计一两年编码达AGI,十年内信心90%;谈AI盈利、算力采购、应用扩散等,还提及机器人革命和AGI定价。
AgentScope 正式发布 Skills 支持 - 实现渐进式披露
文章指出大语言模型驱动的Agent系统存在核心矛盾,常见上下文加载方案有局限,缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略,还讲了其在Java中的实现,最后分析了适用与不适用场景。
“AI 在一线:开发人员如何重塑软件开发流程” |圆桌讨论
文章是关于“AI在一线:开发人员如何重塑软件开发流程”的圆桌讨论,多位嘉宾分享了AI辅助工具对软件开发的影响,包括加速原型设计、缩短项目时间等,也提到了局限性和需注意的问题,如信任和度量标准。