「4B 参数」共找到 2493 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
程序员必收藏！AutoGPT x 167k star实战指南：AI拆解+插件驱动，源代码一键自动化
AutoGPT 是基于 GPT - 4 的开源自主智能代理，在 GitHub 上超 176K 星，速度超 PyTorch。它能解决复杂任务自动化等痛点，具备持续自动任务等核心功能，还给出使用指南，在同类型项目中领先。
华为重金押注的世界模型公司，新融了10个亿！
具身基模和通用机器人企业极佳视界完成近10亿元Pre - B轮融资。其具身基模全球领先，国内首家布局世界模型，原生本体开启量产，在多场景有开创性应用，获产业巨头和顶尖资本认可。
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
DPad: 扩散大语言模型的中庸之道，杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型（dLLMs）有全局规划能力，但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”，提出免训练方法DPad，结合现有技术，能在几乎无损精度下实现高达61.4倍推理加速。
焦虑的贝索斯，决定先裁30000人
亚马逊启动史上最大裁员，先裁14000人，明年或再裁。表面因疫情后人员冗余，实则源于AI军备竞赛压力，AWS优势缩小。公司还计划用机器人替代超50万员工，中层和初级岗位受冲击大，H - 1B员工处境艰难。
2025 IMO真题撕碎AI数学神话，全球顶尖模型齐翻车！冠军铜牌都拿不到
2025 IMO数学竞赛中，全球顶尖AI模型均翻车。冠军Gemini 2.5 Pro仅得31分，连铜牌都拿不到。Grok - 4表现糟糕，DeepSeek - R1也令人失望。AI虽有思路，但逻辑细节不足，离成奥数大师尚远。
12.1万高难度数学题让模型性能大涨，覆盖FIMO/Putnam等顶级赛事难度，腾讯上海交大出品
腾讯AI Lab与上海交大团队联合推出首个基于自然语言的数学定理证明框架与数据集DeepTheorem。12.1万道高难度数学“特训题”让模型定理证明性能大涨，7B模型性能比肩或超越现有开源和商业模型。
只需三步，就能认领一台AI手机！
最近全面开源的AutoGLM可让手机自己动起来，用户只需用自然语言描述任务，AI就能自动操作。不过此前安装部署较麻烦，现在智谱找到连安装都能“自己动”的方法，用Claude Code + GLM - 4.6，三步即可认领AI手机。
Anthropic开源认知对齐MSM
大模型对齐、安全问题是行业大事，Anthropic开源的MSM对齐方法，能将Qwen3 - 32B的agent错位率大幅降低。它先给模型讲规则逻辑再微调，控制精度高，还研究了最佳实践，将改变大模型对齐流程。