「预训练策略」共找到 2851 篇相关文章
一种基于滑动层合并的高效深度修剪大模型的方法
文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。
LeCun团队揭示LLM语义压缩本质：极致统计压缩牺牲细节
图灵奖得主LeCun团队提出全新信息论框架，对比人类与LLM语义压缩策略。通过构建人类概念分类基准、选30+LLMs，发现LLM虽有语义组织能力，但难处理细粒度差异，侧重统计压缩，人类更重细节语境。
0%通过率！Code神话泡沫！LiveCodeBench Pro发布！
国际算法奥赛金牌得主团队测试20个顶级大模型，在584道编程赛题上，高难度题目AI通过率为0%。论文发布LiveCodeBench Pro评测方法，揭示AI编程能力神话泡沫，指出其问题并给出提升方向。
WaveSpeedAI 成泽毅：AI Infra 本来就是一门能挣钱的生意
WaveSpeedAI成泽毅本在大厂做Infra，后创业。他先在社区验证技术价值，创业首日就定全球化策略。WaveSpeedAI团队小而灵活，用利他思维合作，在视频生成领域降成本，验证了推理基建有市场。
北大联手通义实验室发布ZeroSearch：成本暴降88%，无需搜索即可激活大语言模型的检索能力！
北大与通义实验室发布ZeroSearch框架，可无需真实搜索激活大语言模型检索能力。它引入大语言模型模拟搜索、采用结构化模板等策略，成本降88%，多项实验显示其性能超越基线与真实搜索方法。
终于来了！ChatGPT更新：新增录音功能，深度研究也可以访问文档和应用程序了
OpenAI对ChatGPT进行更新，在深度研究功能中增加连接器，可连接企业和个人数据源，进行更深入搜索分析；新增录音模式，支持自动整理重点内容等。还调整定价策略，让现有部分用户能访问新功能。
大概念模型：AI 推理的新范式
大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
美国州政府生成式AI应用报告
今年2月，美国阿拉巴马州州长签署行政命令推动生成式AI在州政府大面积应用，并发布深度应用报告。报告涵盖应用现状、伦理风险与策略、数据管理、政策治理等方面，为生成式AI在政府应用提供指引。
AI长身体，直接做实验！自主通用科学家，科研界的Scaling Law来了
本文探讨未来科研范式「自主通用科学家」（AGS），它将AI与机器人技术结合实现科研全流程自动化，有望突破人类科研限制，引发科学范式变革，还介绍了相关架构、优势及面临的挑战和应对策略。