「简单持续预训练」共找到 2905 篇相关文章
Karpathy的编程经验Skills,开源了,Star涨疯了。
周末,Karpathy大佬的编程经验开源skills项目火了,它把其吐槽大模型写代码的问题编译成大模型可理解的约束。安装简单,还列举了一些规则示例。如今行业把人的经验编译成Agent可执行格式,开源范式改变。
Tair 短期记忆架构实践:淘宝闪购 AI Agent 的秒级响应记忆系统
本文从淘宝闪购与千问合作的‘一句话点外卖’项目出发,介绍 Tair 在 AI Agent 记忆管理中的数据模型设计、压缩策略与并发控制等关键实践,展示其在低延迟、数据建模、并发安全和弹性抗压等方面的能力。
OpenClaw 技术闭门:测试将比代码更值钱,Agent Computer 会是新的硬件形态
OpenClaw 持续发酵,从极客「玩具」变为生产力工具。闭门分享中,开发者们探讨了其在实际业务中的应用。如代码成负债,测试更重要;不同用户对 OpenClaw 认知差异大;Platform Engineering 成工程师核心,还提及 Agent Computer 新硬件形态等。
GLM-5正式发布,744B参数,对标Claude
GLM-5正式发布,对标Claude,参数从355B扩至744B,预训练数据增加。采用GlmMoeDsa架构,部署成本降低。数据表现佳,在多测试中成绩亮眼,还能直输Office文档,部署支持多框架和国产芯片,早期反馈积极。
童年的滚球兽「走进」现实?华为天才少年创业,全球首个虚实融合的实时交互视频模型来了
Xmax AI 推出全球首个虚实融合实时交互视频模型 X1,通过手机摄像头实现虚拟与现实融合。它有四大玩法,操作简单。但面临多技术挑战,Xmax AI 团队实力强,给出硬核技术方案,愿景是让 AI 融入生活。
极简RL新范式:一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力,开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案,在两主流1.5B模型上刷新SOTA,节省2倍算力,消融实验还揭示部分技巧会致性能退化。
你以为在点「红绿灯」验证身份,其实是在给AI免费打工
验证码发展多年,从最初文本形式到如今图像形式。用户点选验证码时,实际在为AI免费提供训练数据,如谷歌让全球网民免费转录资料、为自动驾驶AI打工。如今验证码攻防战激烈,未来或利用AI弱点创新。
智能体系统如何「边做边学」?斯坦福团队探索在线优化的新范式
斯坦福等校团队提出 AgentFlow 框架及 Flow - GRPO 算法,让智能体系统能「边做边学」。它由多个智能体模块协作,在多领域基准测试中表现出色,小模型也能超越大模型,为智能体训练提供新思路。
AI在线强化学习“边做边学”,斯坦福团队让7B小模型性能飙升,甚至超越GPT-4o
斯坦福等团队提出新范式AgentFlow,由四个智能体组成,用在线强化学习持续提升智能体系统推理能力。以Qwen - 2.5 - 7B - Instruct为基座模型的它在多基准测试表现突出,甚至超越GPT - 4o等大模型。
只需1/4预算,性能反超基线:阿里高德提出Tree-GRPO,高效破解智能体RL难题
阿里高德提出Tree - GRPO方法解决智能体RL难题。它以智能体步骤为节点树搜索,在11个数据集中更省预算、表现更好,能在1/4预算超GRPO基线,解决了Rollout成本高和监督稀疏问题。