开源动态8
小红书开源自研大模型
机器之心
AI 摘要
小红书：开源自研大模型 dots.llm1，参数中等但性能佳。靠优质数据、高效训练‘以小搏大’，经多阶段微调表现亮眼，开源为与社区交流，也给开发者多一选择。
阅读原文 · 机器之心
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
小红书开源语音合成模型 dots.tts
语音合成赛道发展如早期大语言模型，路线未收敛。小红书与上海交通大学合作开源的 dots.tts，是 20 亿参数、全连续、端到端自回归 TTS 基础模型，有准确度高、可扩展等特点，还开源了代码。
机器之心
开源动态8
苏剑林揭秘 Kimi K3 架构升级内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
Agent的潜意识
新闻资讯7
UC伯克利系主任加盟Anthropic搞AI
UC伯克利EECS系主任Jelani Nelson暂离大学，加盟Anthropic预训练团队。他算法课播放量超2100万，研究聚焦大规模数据高效处理，这正是A社所需，此前他还在谷歌兼职。
量子位
新闻资讯7
Noam Shazeer离开谷歌，转投OpenAI
AI传奇人物Noam Shazeer宣布离开谷歌，转投OpenAI。他是Transformer架构论文作者之一，贡献卓越。Sam Altman称等他10年，OpenAI研究负责人欢迎其加入。这对OpenAI是胜利，对谷歌Gemini研发是打击。
机器之心