「权重收敛」共找到 229 篇相关文章
告别微调时代:拖拽式LLMs实现12000倍加速适配,输入描述,秒级定制LLM,效果、速度全面超越
传统高效微调技术成大规模部署瓶颈,论文提出Drag-and-Drop LLMs (DnD),仅需输入目标任务未标注提示,即可秒级生成适配的LoRA权重,实现LLM秒级免训练适配,效率、性能和泛化性上均有突破。
Qwen3.8-Flash:全新架构,更强更稳更划算
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型,它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级,降低训练与推理成本,即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
Codex 的野心,MCP 和 Skill 的下一步
作者密集使用Codex App等Agent应用,发现顶尖Agent收敛到相同界面布局。Codex野心大,要处理多格式文件、支持专业工作流。MCP和Skill未解决用户二次编辑问题,插件机制或是出路,Codex已有原始插件市场。
斯坦福英伟达推出测试时强化学习:微调开源模型胜过顶级闭源模型,仅需几百美元
斯坦福、英伟达等提出TTT - Discover方法,基于开源模型gpt - oss - 120b,在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制,解决分布外问题,成本低且表现优,但目前适用于连续奖励场景。
痛点突破:YOLOv26引入AAttn区域注意力机制,精度提升1.3个百分点
文章介绍YOLOv26引入AAttn区域注意力机制,解决传统机制在复杂场景下的不足。它通过划分特征图区域学习权重,提升检测精度,且实现简单。经实验验证,精度提升显著,还给出实现细节与优化建议。
40倍推理加速!复旦&微软:用「非线性流」拟合复杂轨迹,2步生成媲美原画
ArcFlow是复旦与微软提出的图像生成加速方案,引入非线性流拟合复杂轨迹。它在仅2步推理下保持画质,实现约40倍推理加速和4倍训练收敛加速,微调极少参数,在多模型验证效果出色。
Qwen3.8-Max:编程与办公,全面跃升
今日正式发布Qwen3.8-Max,下周将开源其及Qwen3.8 - 27B模型权重。它参数达2.4万亿,在多方面全面提升。开发者可通过千问AI平台获API服务,性价比高。在编程、办公等场景表现出色,用户反馈良好。
Thinking Machines 发布第二篇博文:用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章,提出模块化流形理论框架,通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题,提出流形Muon优化器,还探讨了模块化流形扩展到大型网络的方法。
Andrej Karpathy 爆火演讲刷屏技术圈:AI 开启软件 3.0,重写一切的时代来了!
Andrej Karpathy 在旧金山 AI 创业学校演讲,指出 AI 开启软件 3.0 时代,自然语言成编程接口。软件经历 1.0 代码、2.0 神经网络权重,现进入 3.0 用提示词编程大模型阶段,还探讨大模型特性、应用及相关问题。
分割一切并不够,还要3D重建一切,SAM 3D来了
深夜 Meta 重大更新,上线 SAM 3D、SAM 3。SAM 3D 含物体与场景重建、人体形状与姿态估计两模型,能将 2D 图转 3D 重建结果。SAM 3 可检测、分割与跟踪图像视频物体。Meta 开放模型权重与代码,推体验平台。