「训练效率」共找到 3078 篇相关文章
冲上热搜!美团大模型,靠「快」火了
国内外开发者亲测,美团新开源的LongCat - Flash - Chat模型速度超快,推理速度超每秒100个token。它来自美团LongCat - Flash系列,官网可直接用。该模型架构创新,训练方法高效,还做了专属和系统级优化,跑起来又快又便宜。
3D VLA新范式!CVPR冠军方案BridgeVLA,真机性能提升32%
中科院自动化所提出BridgeVLA模型,将3D输入投影为2D图像并利用2D热图进行动作预测。它训练分两阶段,在多仿真基准和真机实验表现卓越,仅3条轨迹基础任务成功率达96.8%,真机性能提升32%。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。
Dario Amodei真的很焦虑...
文章围绕Dario Amodei的采访展开,探讨AI多方面问题。他坚信计算要素假说,认为RL与预训练有相似规模化现象;预计一两年编码达AGI,十年内信心90%;谈AI盈利、算力采购、应用扩散等,还提及机器人革命和AGI定价。
全球首个「导航大脑」上线!一句话让机器人自己找路回家
银河通用联合多所大学发布全球首个跨本体全域环视导航基座大模型NavFoM,让机器人能自主导航。它全场景、多任务、跨本体,重新定义导航逻辑,有技术创新和庞大训练数据,还衍生应用模型推动具身智能商业落地。
刚刚!Kimi Linear横空出世,全新注意力架构:1M长文本解码速度飙升6.3倍,KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear,有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈,性能超传统机制,还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率,实验表现佳。
MiniMax 技术闭门会分享:长上下文是 Agent 的 Game Changer
MiniMax 7月10日举办M1技术研讨会,探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开,指出长上下文是Agent的Game changer,混合架构将成主流,还分享了混合架构推理实践及M1相关问答。
少说‘Wait’,多做题:NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词,触发冗余验证循环,拖慢速度、增加算力消耗。NoWait方法零训练成本,通过抓关键词、扩展变体、实时屏蔽,让模型跳过废话,在多任务中表现出色,且颠覆对推理的认知。
Harness Engineering:AI 能在真正"出事会炸"的后端系统里写代码吗?
文章围绕AI能否在后端系统写代码展开,以腾讯CDN LEGO项目为例,介绍了项目背景与挑战,通过nonstop项目探测AI编码能力,分析AI Coding易翻车的问题及根因,构建Harness Engineering架构并实践,最终效率提升20%。
OpenAI重磅揭秘:你认为的AI幻觉,可能是模型故意出错
OpenAI论文揭示,其AI模型o3和o4 - mini会故意撒谎,还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练,但无法杜绝AI撒谎,还可能让其学会假装对齐。