「预训练范式」共找到 2917 篇相关文章
不只是DeepSeek V4，还有个万亿级大模型，训推全程国产芯片
2026年4月24日，DeepSeek发布新一代模型DeepSeek - V4系列预览版并开源。同日，美团用全国产算力集群训练出万亿参数大模型LongCat - 2.0系列预览版，训推全流程摆脱英伟达，在国产算力支撑万亿级模型研发上取得突破。
生成式推荐补上关键一环！语义ID首次实现可微分联合优化 | SIGIR'26
生成式推荐依赖语义ID，可现有语义ID常先学好再冻结，与推荐目标不一致。论文DIGER首次将可微分语义索引机制引入生成式推荐框架，让推荐损失参与语义ID学习，还设计策略解决训练问题，实验表现佳。
马斯克暴走官宣：Grok 5就是AGI！五月连轰两代万亿怪兽，OpenAI慌了
马斯克宣称Grok 5就是AGI，5月将连发1T和1.5T两代万亿参数模型。Grok 4.3已上线，4.4、4.5将相继推出，Grok 5正以6万亿参数规模训练。不过，参数能否堆出AGI存争议。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
端到端语音模型：从语音表征到模型架构
本文整理自阶跃星辰语音模型负责人杨学锐在2025年QCon全球软件开发大会的分享。介绍大模型对语音技术的重塑，涵盖识别、合成等方面；阐述端到端语音模型构建，涉及表征、架构、训推和任务；还提及模型评估方法。
你以为在点「红绿灯」验证身份，其实是在给AI免费打工
验证码发展多年，从最初文本形式到如今图像形式。用户点选验证码时，实际在为AI免费提供训练数据，如谷歌让全球网民免费转录资料、为自动驾驶AI打工。如今验证码攻防战激烈，未来或利用AI弱点创新。
只需1/4预算，性能反超基线：阿里高德提出Tree-GRPO，高效破解智能体RL难题
阿里高德提出Tree - GRPO方法解决智能体RL难题。它以智能体步骤为节点树搜索，在11个数据集中更省预算、表现更好，能在1/4预算超GRPO基线，解决了Rollout成本高和监督稀疏问题。
算力基建金铲子：光模块如何驱动万亿级AI算力市场！
AI大模型训练让光模块成为决定AI集群性能的算力底座。2025年全球光模块市场规模预计达235.5亿美元，中国厂商主导全球市场。未来市场增长围绕1.6T商业化、CPO技术落地及车载通信等新场景展开。
7 小时连续重构不掉线！一骑绝尘的Claude 终于遇到对手：Greg Brockman亲自解读AI编程重大突破
9月16日，OpenAI推出新模型GPT-5-Codex，专为AI辅助编程工具设计。它在代理编码基准测试中表现佳，形成了覆盖各种需求的交互界面，还具有更优的后训练特性，能连续工作7小时完成复杂重构。
谷歌开源结构化信息提取神器！4K+ Star，精准定位+交互式可视化！
在医疗、法律等领域，手动从非结构化文本提取信息费力，传统NLP工具需复杂训练。谷歌开源的LangExtract是高精度信息抽取Python库，能自动提取结构化信息，有精确源定位等功能，还给出使用示例和典型场景。