「大涡模拟网络」共找到 5449 篇相关文章
DeepSeek-V3再发论文,梁文锋署名,低成本训练大模型的秘密揭开了
DeepSeek 发布围绕 DeepSeek-V3 的技术论文,从硬件架构和模型设计双重视角,探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计,如 DeepSeekMoE 架构、MLA 架构等,还给出未来硬件架构设计建议。
个人开发者训400亿参数大模型:分布式算力,DeepSeek架构,3090单卡部署
Nous Research推出Psyche Network,可整合全球算力训练AI。它基于Deepseek的V3 MLA架构,有DisTrO优化器等技术,能让个人和小团体创建大规模模型,还实现40B参数LLM预训练。
ICML 2025 | 注意力机制中的极大值:破解大语言模型上下文理解的关键
ICML 2025新研究揭示,在使用RoPE的现代Transformer模型里,注意力机制Q和K表示有集中极大值,V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系,对模型设计、优化和量化有重要启示。
ICML 2025 | 注意力机制中的极大值:破解大语言模型上下文理解的关键
ICML 2025新研究揭示,在使用旋转位置编码 (RoPE) 的现代Transformer模型中,注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值,而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
VDC+VBench双榜第一!强化学习打磨的国产视频大模型,超越Sora、Pika
复旦大学等机构将强化学习引入视频生成领域。提出的Cockatiel方法在VDC榜单夺冠,IPO方法在VBench登顶,超越Sora、Pika等模型,优化后视频生成效果在多方面显著提升。
大模型从“胡说八道”升级为“超级舔狗”,网友:再进化就该上班了
12项世界第一!国产基模一战封神,11亿参数逆袭70亿大魔王
蚂蚁灵波的LingBot-Depth 2.0空间感知模型,在测试中拿下12个世界第一,解决了玻璃、细小物体等行业难题。它还与奥比中光达成合作落地商业应用。其核心预训练基模LingBot-Vision被开源,有望加速具身智能生态发展。
Claude Code官宣下一版大升级!你在聊天,后台把活干完了
Claude Code创造者Boris Cherny官宣,下一版子智能体默认在后台跑,可边聊边干活。其半年来不断进化,还让Anthropic工程师产出翻三倍,在Spotify实战效果也佳,改变了工程师角色。
条条电路通罗马:大模型可解释性的「唯一机制」可能从一开始就不存在
长期以来,机制可解释性领域默认模型对同一任务的能力对应唯一内部「电路」。但被ICML 2026接收的新论文指出,「唯一电路」可能不存在,同一任务可由多个结构不同但能力相当的电路完成。
腾讯混元CL-bench续作发布,让大模型读懂你的日常生活
腾讯混元团队推出CL - Bench Life,用于精准衡量AI在现实生活中的“上下文学习”能力。测试12个语言模型,结果显示模型处理高噪声零碎context能力不足,揭示当前顶尖AI模型还远未读懂日常。