「AI预训练范式」共找到 11383 篇相关文章
个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署
Nous Research推出Psyche Network，可整合全球算力训练AI。它基于Deepseek的V3 MLA架构，有DisTrO优化器等技术，能让个人和小团体创建大规模模型，还实现40B参数LLM预训练。
账号与身份防线全面失守：黑灰产 Agent 化攻击下，如何用“第一性原理”重建防线？
11月13日Anthropic报告显示，黑客利用AI Agent化能力发起复杂攻击，网络安全面临转折点。数美科技CTO梁堃指出黑灰产完成‘智能化’改造，传统防线失效，并提出防御方法。
一个大脑搞定所有模态，百度ERNIE 5.0技术报告公布
模型发布近3个月后，百度ERNIE 5.0技术报告公布。其底座用超级稀疏架构，参数量万亿但推理激活参数不到3%，实现四种模态原生自回归统一，还在路由调度、训练范式等多方面有创新。
突破遥操瓶颈！全新无本体数据世界动作模型Noe-0发布
穹彻智能发布世界动作模型 Noe - 0，全链路采用无本体采集数据。其数据来自真实环境，配合 World Action Model 架构和 AI - Native 数据基础设施，跑通从真实世界经验到机器人能力转化的完整链路，是具身智能的里程碑。
万卡时代，企业需要怎样的算力集群？
过去两年，AI算力需求跃升，消耗从训练主导转向推理驱动。企业算力需求有突发性等特点，智算集群是关键方案。InfoQ联合腾讯云发起直播探讨，还介绍了算力供给缺口、集群构建交付、性能优化及演进方向。
识别1600+种人类语言，支持少样本扩展到5400+种语言，Meta自动语音识别模型开源
Meta AI发布Omnilingual ASR自动语音识别模型并开源。它能转录超1600种语言，含500多种首次被AI理解记录的语言，还可通过少样本扩展到5400多种，改变了多语言ASR构建范式。
从兼职工程师直接跳到CTO，他用两个月让一款 Agent 干掉60%复杂工作并放话：“代码质量与产品成功没有直接关系”！
金融科技公司 Block 的 CTO Dhanji R. Prasanna 分享公司 AI 转型经验。Block 在 8 周内部署 AI 智能体，推出开源 AI Agent 框架 Goose，能节省员工工时，还谈到组织变革、AI 应用及招聘等多方面见解。
The Batch：927｜极速扩散学习
研究表明扩散图像生成器学习重建预训练编码器嵌入可加快训练，Apple团队提出的FAE，通过缩小嵌入再重建解决了因嵌入尺寸大导致的训练受阻问题，性能与先进模型相当且训练更快。
腾讯AngelSlim重磅升级！面向全模态的大模型压缩算法工具包，推理速度飙升 1.8倍！
近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。
全球闲置算力训个模型，性能媲美R1，老黄天塌了！Karpathy曾投资它
全球首个分布式RL训练模型INTELLECT - 2发布，整合闲置算力完成训练，成本降低，性能媲美DeepSeek - R1。其采用分布式异步强化学习范式，团队开源四大关键组件，还获Karpathy等投资，未来有多项计划。