「非凸优化」共找到 1817 篇相关文章
刚刚,OpenAI前CTO Mira Murati公司Thinking Machines Lab发文,揭开了大模型不确定性的真相
OpenAI前CTO Mira Murati创立的Thinking Machines Lab推出研究博客Connectionism,首篇文章聚焦LLM推理的非确定性问题。研究发现真正原因是批次不变性缺失,提出实现批次不变内核的方案,实验效果显著。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色,但推理机制成谜。本文提出用推理图解码其‘思考轨迹’,分析环状结构、直径大小和小世界特性,发现蒸馏模型等特点,为理解AI推理及模型优化指明方向。
Karpathy用「harness」彻底终结了RAG。
假期时Karpathy提出llm.wiki想法引发关注。它是元框架,定义人类与AI协作管理知识的方式。与RAG不同,它将新材料关键信息编入已有wiki并持续维护。作者用多种数据测试,发现TextIn API解析效果好,还优化处理流程提升质量。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发,逐步加入self-attention机制、position嵌入等,实现完整GPT。介绍Transformer结构,讲解位置编码、单头自注意力等机制的代码实现,还阐述后续层的用途、参数调整及训练效果,最后提及模型优化方向。
流式意图检测+永久记忆,NUS&NTU发布Pask:把贾维斯AI拉进现实
南洋理工大学谢之非团队提出Pask,采用「底层小模型流式意图检测」+「上层Agents执行」架构,实现实时、有深度、基于个人全局记忆自进化的主动智能体。它包含需求检测、长期记忆和主动系统模块,经测试效果良好。
OpenAI新模型Day0就被嫌弃!排名拉垮,不如一月底发布的国产模型
OpenAI推出GPT - 5.4 mini和nano模型,主打快速经济,针对编程等优化。但评测中GPT - 5.4 mini排名不佳,不如国产Kimi 2.5,且价格对比有争议。不过与自家旧版比有提升,网友测试有亮点。
震惊海外开发者!BOSS直聘3B小模型比肩80B,怎么做到的?
BOSS直聘楠北阁团队发布3B轻量端侧小模型Nanbeige4.1-3B,性能震惊海外开发者。团队从多方面改进,如优化推理和偏好对齐,重构训练数据,采用多种强化学习算法,使其性能比肩大模型。
GPT-5准确率不足40%!北大发布多模态、高难度化学基准SUPERChem
北大团队发布多模态、高难度化学基准SUPERChem,构建评估大语言模型化学推理能力新体系。测试显示,GPT - 5准确率仅38.5%,与低年级本科生相当,且模型在高阶推理有短板,该基准为模型优化指明方向。
阿里AgentBay揭秘,Agent Infra才是真护城河!
在云栖大会上,阿里云无影宣布Agent基础设施AgentBay重大升级,展示全新个人计算产品。它有完善能力,可调用云上资源。文章还阐述了Agent Infra的必要性、进化体现及成本优势,指出优化环境很重要。
从 AI 创业角度看 GEO:如何引流、效果评估,以及创业机会在哪里?
文章从AI创业角度剖析GEO,介绍其原理、内容优化策略、实操建议、效果评估搭建、代表产品等,指出GEO与SEO不同,虽有争议但值得做,还探讨了相比SEO的更多想象空间。