「自优化」共找到 2180 篇相关文章
DeepSeek 模型技术之旅:从 V3 到 V3.2
本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进,对比了基座与推理模型,介绍了架构、训练方法变化,如 V3.2 结合 MLA 与 DSA,更新奖励和 GRPO 算法,还提及 V3.2-Speciale 扩展思考特性。
DeepSeek-V3.2巨「吃」Token,竟然是被GRPO背刺了
DeepSeek-V3.2发布后引起关注,但长思考版本暴露出Token使用效率不佳问题,消耗远超同类模型。这或与GRPO算法缺陷有关,其目标函数存在长度和难度偏置,长度偏置仍是该版本高Token消耗的原因。
Karpathy:LLM渴望的不是生存,而是你的点赞
Andrej Karpathy指出人们对‘智能’理解肤浅,动物智能与LLM智能源于不同优化压力。动物智能源于自然选择,而LLM智能来自统计模拟、强化学习微调等,两者在多层面有差异,LLM受商业进化影响大。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习(RLVR)训练动态,戳破参数更新稀疏误区,提出三门理论说明其参数更新定位机制,还为RL训练算法设计提供指导,指出SFT时代参数高效微调方法在RLVR中迁移效果差。
AI时代,我们为何重写规则引擎?—— QLExpress4 重构之路
AI时代下规则引擎需求旺盛,QLExpress4全面重构。它性能提升,编译和执行性能显著提高;体验优化,支持JSON语法、有表达式追踪功能;还在淘天、钉钉等有应用场景,且对AI友好。
堪比金条,存储迎来三十年未见的涨价潮
全球存储现缺货涨价潮,由云服务供应商采购推动。自2025年3月起,存储产品价格持续上涨,预计开启数年“超级周期”。AI火热与原厂技术迭代催化涨价,内存条成“理财佳品”,也催生“国产替代”需求。
中国算力芯片的“新十年”
文章指出过去40年处理器芯片发展呈“否定之否定”,近年整机和平台厂商重归自研,异构计算成趋势。未来中国算力芯片突破口在指令系统结构统一,可把RISC - V作统一指令系统开发各类芯片。
OpenAI 首款AI浏览器发布 —— ChatGPT Atlas |附实测
OpenAI发布首款AI原生浏览器ChatGPT Atlas,自带记忆和Agent能力,有chatgpt侧边栏、光标一选就改写等功能,目前仅发布macOS版,后续将推多版本,Agent模式付费且为预览版。
1.58bit不输FP16!微软推出全新模型蒸馏框架,作者全是华人
微软推出蒸馏框架BitNet Distillation,实现几乎无性能损失的模型量化。它含三阶段,经实验在多下游任务表现近全精度模型,降内存开销、提推理速度,作者全是微软研究院华人。
LangChain 不看好 OpenAI AgentKit:世界不需要再来一个 Workflow 构建器
OpenAI发布工具集AgentKit,含可视化画布Agent Builder。LangChain创始人Harrison Chase锐评,市场不需要这种可视化工作流构建器,因其不是真正的Agent构建器,且面临高低复杂度问题挤压。