「简单持续预训练」共找到 2905 篇相关文章
一个模型超了DeepSeek R1、V3，参数671B，成本不到350万美元
Deep Cogito 是旧金山 AI 初创公司，开源四款混合推理模型。最大 671B MoE 模型性能超 DeepSeek v3 等，推理链比 DeepSeek R1 短 60%，训练成本不到 350 万美元。核心方法是迭代蒸馏与增强。
0 融资、10 亿美元营收，数据标注领域真正的巨头，不认为合成数据是未来
Surge AI创始人Edwin Chen接受访谈，提出创业应解决问题而非融资，合成数据被高估，高质量数据才是壁垒。他还指出大语言模型竞技场误导训练方向，人类反馈永不过时，数据质量是AI发展首要瓶颈。
用隐藏指令诱导AI给论文打高分，谢赛宁合著论文被点名：认错，绝不鼓励
最近，一些简单提示词在AI学术圈掀起风波，操作者将其隐秘嵌入论文诱导AI给高分。谢赛宁合著论文也涉此事，他紧急回应，承认过失，解释缘由并采取补救措施，还呼吁探讨AI时代科研伦理。
从诡异视频到假论文，AI正把互联网变成巨型「垃圾场」
AI生成的诡异视频在社交平台流行，如比基尼胖女人跳水、食物自相残“食”等，背后是流量逻辑和低成本创作。更严重的是，AI生成的低质量论文渗透到学术领域，危害知识纯粹性和科研公正性。
AI操作有了“紧急刹车”！通义&自动化所AI决策诊断模型，GUI智能体纠错正确率SOTA
阿里通义实验室与中科院自动化所推出GUI - Critic - R1模型，能在GUI智能体操作执行前诊断决策，避免错误。介绍了其动机、方法、数据集及实验，证明该模型在生成判断和提建议方面有效。
集GraphRAG 和 DeepSearch于一体的智能问答系统graph-rag-agent
本项目结合GraphRAG与私域Deep Search，实现可解释、可推理的智能问答系统。亮点有从零复现GraphRAG、创新融合DeepSearch等，具备多模块功能，还有简单演示，地址https://github.com/1517005260/graph-rag-agent/blob/master/readme.md。
103K「硬核」题，让大模型突破数学推理瓶颈
现有大语言模型在数学推理训练时面临数据瓶颈，腾讯AI Lab与上海交大团队推出DeepMath - 103K数据集。它规模大、难度高、数据新颖、严格去污染，让DeepMath系列模型达SOTA，还能实现推理泛化。
刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿
OpenAI前安全副总裁Lilian Weng疑似曝光90亿估值新公司Thinking Machines首个产品——手动调参仪表盘，训练中可手动调超参数。OpenAI也有AI硬件野心，设想让ChatGPT成全能硬件助手。
Transformer | 一文带你了解Embedding（从传统嵌入方法到大模型Embedding）
文章介绍Embedding基础知识，从传统统计方法到如今大模型用例演变过程。涵盖传统、静态、上下文及大模型Embedding技术，如TF - IDF、word2vec、BERT等，还剖析DS - Qwen1.5B的Embedding并以图展示。
「边思考、边搜索、边写作」WebThinker开启AI搜索&研究新纪元！
大型推理模型有推理能力，但静态知识限制其在复杂任务表现。WebThinker 让 LRM 推理中自主搜索、导航及写报告，集成探索器，有自主策略和训练工具，实验显示性能强，还指明未来探索方向。