「结构化预处理」共找到 1129 篇相关文章
10行代码，AIME24/25提高15%！揭秘大模型强化学习熵机制
来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。
OpenAI解密大模型失控：它不是变坏，而是「太听话」
OpenAI公开IH - Challenge，解决大模型指令冲突难题。指出大模型问题多因听信错误指令，给出系统＞开发者＞用户＞工具的指令层级结构，设计数据集训练模型遵循高信任等级指令，提升安全可控性与抵御提示词注入能力。
Anthropic逼急奥特曼：自砍副业，死磕Claude主场
OpenAI最高层拉响「红色警报」，准备砍掉边缘项目，全面退守编程与企业市场主赛道。此前其「全面押注」策略导致资源内耗，而Anthropic专注企业和编程市场取得成功，Claude Code年化收入超25亿美元。OpenAI反击，Codex用户量提升。
租了8张H100，他成功复现了DeepSeek的mHC，结果比官方报告更炸裂
元旦期间，DeepSeek发布的mHC震撼AI社区。FlowMode工程师Taylor Kolasinski租8张H100复现mHC，结果比官方报告更优。文章介绍复现实验，对比mHC、HC和标准残差结构，揭示超连接在规模化时的不稳定性及mHC的解决办法。
NBA球星，成为英伟达副总裁
本文用一张「组织透视镜」，带你看清英伟达36人的角色分工、黄仁勋的管理逻辑，以及它对AI时代公司的启发。黄仁勋以扁平化直管36位高管，减少层级，让信息流动，使公司保持创业般的冲劲。
智能体崛起，AI+软件研发到新拐点了？
InfoQ《极客有约》X AICon 直播探讨 LLM 时代软件研发新范式。嘉宾认为 AI 在研发中是提效工具，距原生开发尚远；部分开发环节已由 AI 接手，落地面临稳定性等问题；未来智能体协作是趋势，部分工程师价值将放大。
容器可观测新视角： SysOM延时监控助力定位业务抖动原因
云原生场景下，资源超卖和混合部署使宿主机与容器化应用资源竞争加剧，引发内核级延迟问题。本文结合实战案例，介绍用ack - sysom - monitor Exporter分析定位内核延迟，还介绍了SysOM监控及解决系统延时的方法。
Shopee OnePiece：业内首个融合上下文工程、隐式推理和多目标训练策略的生成式搜推建模框架
2025年生成式推荐发展火热，但工业界落地多在序列化建模，替换传统范式遇阻。Shopee傅聪团队联合人大高瓴学院提出OnePiece范式，是业内首个融合多策略的生成式搜推建模框架，含上下文工程、隐式推理和多目标训练策略。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
别只做skill了，都去做插件吧
Claude Code的插件系统上线，解决了配置难分享、版本化和审核的问题。它将已有能力标准化，介绍了插件与独立配置选择、上手步骤、可装内容、测试方法、提交市场及从独立配置迁移等内容，还提及其他软件推插件市场。