「球体堆积问题」共找到 3197 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
OpenAI：GPT-5就是All in One，集成各种产品
OpenAI研究副总裁剧透GPT - 5将整合Codex、Operator等产品。团队分享Codex详情与未来计划，回应10大问题，如语言选择、运行方式等，还将推免费API积分，发布了Codex上手指南。
ICML 2025 Spotlight｜南洋理工陶大程教授团队等提出基于RAG的高分辨率图像感知框架，准确率提高20%
南洋理工陶大程教授团队等合作，为解决多模态大语言模型处理高分辨率图像问题，探索 RAG 应用可行性，提出 Retrieval-Augmented Perception (RAP) 框架，在多任务上提升性能，已被 ICML 2025 接收。
首次披露！DeepSeek V3 发布软硬一体协同训练论文，公开「降成本」秘诀
DeepSeek团队发布论文《洞察DeepSeek - V3：规模的挑战和对AI架构硬件的思考》，从硬件架构和模型设计双重视角，探索其经济高效的大规模训练和推理方法，介绍了设计原则、低精度驱动等多方面内容及降成本秘诀。
AI重塑搜索：夸克“深度搜索”如何定义下一代信息入口｜甲子光年
大模型发展推动搜索产品革新，“搜索”变“深度搜索”。夸克升级AI超级框发布“深度搜索”，即将推出“深度搜索Pro”。其“深度搜索”情商高，“深度搜索Pro”免费、快速、专业，夸克正打造AI全能助手。
智源技术分享：大模型行业应用新模式和关键实现路径
在 AICon 大会上，智源研究院周华分享大模型行业应用。分析落地问题，提出以大模型为核心的技术路径，涵盖数据、训练等环节，还给出数据生产流程建议，分享最新开源成果。
Claude1.7万字系统提示词全网刷屏！Karpathy锐评：LLM训练缺乏关键范式
Claude近1.7万字系统提示词在GitHub泄露，网友称是提示技术的金矿。大神卡帕西提出系统提示学习新范式，模拟人类经验积累，让LLM有‘记忆’功能，引发网友激烈讨论。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
突破多模态奖励瓶颈！中科院清华快手联合提出R1-Reward，用强化学习赋予模型长期推理能力
多模态奖励模型（MRMs）对提升多模态大语言模型表现至关重要，强化学习理论上可引入长期推理能力，但现有RL算法用于训练MRM会不稳定。中科院、清华等团队推出R1 - Reward模型，在多模态奖励模型benchmark上有显著提升。