「分布式训练加速库」共找到 2695 篇相关文章
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
蚂蚁·安诊儿医疗大模型：正式开源并登顶权威医疗榜单
近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。
Anthropic刚发布了一份「AI抢饭碗报告」：学历越高越「被抢」
Anthropic《经济指数报告》揭示，任务越复杂AI加速越猛，学历高的工作受影响大。还指出人机协作能大幅提升任务时长，不同国家AI应用有贫富和技术代差，也提到了‘去技能化’问题及对生产率的预测。
让推荐学会思考：用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
玻璃基板突然加速
AI算力行情推进，玻璃基板行情被京东方与康宁合作引爆。英特尔和台积电想用玻璃基板替代主流载板，虽想法合理，但落地需谨慎。英伟达推动其商业化，面板产业也积极助力，不过仍有技术难关待闯。
人工智能无法加速软件交付
文章指出速度不是软件交付目标，提升效率是为获反馈。片面追求速度不可取，如微软 Word 因功能堆砌失市场。引入人工智能只为提速不可信，应重视反馈，优化交付流程，借助 AI 打造更有格局产品。
人工智能无法加速软件交付
文章以养狗比喻，指出有些机构用AI只看重速度，速度并非目标，为速度用AI缺乏可信度。强调应看重反馈，以反馈循环主导软件交付流程，还给出团队规模、产品开发等建议。
The Batch: 844 | AI 天气预测加速推进
美国国家飓风中心与 Google 的 Weather Lab 合作，利用新模型预测风暴。该模型能比传统方法更准确预测风暴形成、路径和强度，最长提前 15 天，测试表现优于 Google 之前的 GenCast 模型和 ENS 模型。
北京芯片巨头，吸金50亿加速狂奔
AI算力需求爆发，4月30日寒武纪抛出近50亿定增计划。其此前多次募资，虽长期亏损，但连续两季盈利，股价涨幅大。当下英伟达限售，政策支持，寒武纪有望抢占市场，此次募资将完善产品矩阵。