「自监督训练」共找到 3062 篇相关文章
NeurIPS 2025 Spotlight | 让检索、推理真正「合体」的小而强模型，AceSearcher来了
近期，多所高校研究团队发布 AceSearcher 模型，它是让同一语言模型在推理时兼任双角色的合作式自博弈框架，以两阶段训练为骨架，将推理与检索结合，提升复杂检索任务效果，在多任务上表现出色。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
DeepSeek-R2尚未问世，微软小模型捡漏称王？6000样本炼出「数学作弊器」！
微软推出Phi-4推理模型系列，参数最多14B，能在本地高性能笔记本电脑上流畅运行。Phi-4-mini-reasoning在数学推理上性能超越DeepSeek-R1蒸馏模型，且参数规模更小。文章还介绍了模型特点、训练方法、性能表现及局限性等。
聚焦手机AI“超级入口”，中兴Nebula小模型让手机秒变“小秘”？
移动智能时代，手机AI“超级入口”成竞争焦点。美团率先推出AI Agent，中兴通讯自研Nebula-GUI模型表现亮眼，在测评中获佳绩，已在多款手机商用，还开发数据制备系统，经监督微调、双层强化学习提升性能。
Meta提出Deep Think with Confidence：几乎啥都不用动，就能提升推理的准确性与效率
传统自一致性方法虽能提升推理准确率，但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence（DeepConf），可在不增训练成本和不调超参数下，提升推理准确性与效率，本文对其全面解读。
只需1/4预算，性能反超基线：阿里高德提出Tree-GRPO，高效破解智能体RL难题
阿里高德提出Tree - GRPO方法解决智能体RL难题。它以智能体步骤为节点树搜索，在11个数据集中更省预算、表现更好，能在1/4预算超GRPO基线，解决了Rollout成本高和监督稀疏问题。
英伟达拟 10 亿美元砸向这家 AI 编码创企！Copilot 技术大佬带队、成立两年估值近千亿
10月30日彭博社报道，英伟达拟最高投10亿美元给AI创企Poolside，此轮融资或使其估值翻四倍。该公司由微软技术大佬带队，开发AI编码助手，创建强化学习法训练模型，从底层自研，有独特优势。
华为盘古大模型:被芯片牵制的“千古”模型
华为盘古大模型团队员工自曝内幕，称其受芯片限制，早期算力有限、训练困难。还指出内部存在造假、套壳等问题，如135B V2套壳Qwen 1.5 110B，pangu pro moe 72B套壳qwen 2.5的14b等，导致人才流失。
突发：SpaceX 或 600 亿美元收购 Cursor
SpaceX官宣与Cursor合作，打造编程和知识工作AI。Cursor授予SpaceX今年晚些时候以600亿美元收购的权利，或支付100亿合作费。Cursor增长快但无自研模型，合作可助其训练模型。此外还介绍了编程AI市场竞争情况。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。