「梯度正交化」共找到 1013 篇相关文章
90后哈工大学霸,要IPO了
近日,90 后哈工大学霸王永锟创立的斯坦德机器人向港交所递交上市申请,冲刺'工业具身智能第一股'。该公司成立 9 年估值达 21 亿,发展历经波折,如今业务向好,但研发投入变化引关注。
The Batch: 875 | 中国新兴的人工智能中心
杭州正崛起为人工智能创新中心。‘六小龙’等AI公司提升其科技地位,如BrainCo研发脑机接口产品,DeepSeek专注开源权重模型。杭州凭政策、人才、算力等优势后来居上。
这个推理模型:HRM ,只用2700万参数,超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM,它是全新循环架构,仅2700万参数、1000个训练样本,就在复杂推理任务上表现卓越,还引入近似梯度等方法,有推动通用计算变革潜力。
提示词工程、RAG之后,LangChain:上下文工程开始火了!
AI时代,上下文工程正兴起。它是构建动态系统,为LLM提供合适信息和工具以完成任务。随着应用复杂度增加,提供完整结构化上下文比提示词更重要,正成AI工程师重要技能。
AI大厦需要新的地基!
文章指出Scaling Law面临挑战,数据对AI愈发重要,数据库正从存储介质向AI运行的地基进化。OceanBase提出构建Data×AI能力,正从一体化数据库向一体化数据底座演进,全力拥抱AI。
软件正在吞噬劳动力:直接取代人类,捕获前所未有的经济价值
a16z 普通合伙人 Alex Rampell 演讲指出,软件正从辅助人类转向直接取代劳动。过去软件是将文件柜数字化,如今正从记录工具变为任务执行者,这将催生新商业模式,捕获巨大经济价值。
“技术迭代速度是唯一护城河!”李彦宏把百度 AI 秀了个遍,还称芯片拿大部分钱的 AI 生态不健康
李彦宏在百度世界大会指出,AI产业结构正从‘正金字塔’向‘倒金字塔’转变,健康生态中应用应创造最大价值。百度展示多项成果,如数字人、AI搜索等,还发布文心大模型5.0和百度伐谋。
中学生就能看懂:从零开始理解LLM内部原理【八】| 什么是残差连接?
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接,指出传统多层模型有网络退化和梯度传导困难问题,而残差连接能缓解,还说明了其工作原理和可行性。
Claude统治一切!吞下这颗红药丸,焊工也是顶尖程序员
一种被称为「Claude - pilled」的现象在硅谷蔓延,焊工、律师等非程序员用Claude Code写APP,程序员护城河渐崩。但工程师用它后学习速度下降,社区探索让AI成导师的办法,且软件开发范式正转变。
xAI正面临法律诉讼
Techcrunch消息,马斯克旗下xAI因在孟菲斯郊外运营的Colossus数据中心未经许可运行天然气涡轮机面临诉讼。南方环境法律中心指出其未获必要许可,涡轮机或排放大量氮氧化物,孟菲斯空气质量本就差。