搜索：双预训练架构

「双预训练架构」共找到 3645 篇相关文章

经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决

在深度学习领域，经典 ReLU 函数因简洁性等优势受青睐，但有「死亡 ReLU 问题」。德国吕贝克大学等机构研究者引入 SUGAR 方法，不牺牲 ReLU 优势解决该问题，还设计 B - SiLU、NeLU 函数，实验显示性能提升显著。

西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。

北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。

Teable是基于PostgreSQL的无代码数据库平台，被赞为Airtable开源替代潜力股。它有百万级数据秒级响应等亮点，具备独特技术架构，适用于多场景，与同类对比优势明显。

本文分析大模型推理阶段KV缓存的行业痛点，指出传统单机缓存孤立无法跨节点复用的问题，介绍焱融科技的分层共享缓存方案，公开了方案的实测性能数据，展现AI存储的新发展方向。

目前行业探讨大模型的RSI时，常陷入思维定势。EvoMap团队没有盲目跟风，而是提出极具现实意义的工程新路径，构建自进化智能体，让经验在网络流转，还以硬核数据证明其体系有效性。

SpaceXAI发布与Cursor联合开发的视觉 - 语言模型Grok 4.6，已向开发者开放。介绍其输入/输出、特性等信息，阐述工作原理、性能表现，还提及相关新闻背景、重要原因及期望。

非法捕捞的暗船常关掉 AIS 隐身，难被传统手段监控。论文提出双分支 YOLO11，通过夜光遥感数据精准检测，还设计预处理流程，在测试集表现优，规模化应用也得到暗船率等成果。

文章聚焦构建私有AI Coding平台，对比Pi、DeepSeek Harness、Codex Harness的架构、扩展能力及选型策略。介绍三者交互集成方式，分析其扩展特点，并为不同需求团队给出选择建议。

SemiAnalysis内部播客爆料，Anthropic新模型Mythos 2训练完成却被雪藏，正用其生成数据研发Mythos 3。Anthropic曾呼吁监管，如今自食其果。此外，OpenAI的Astra也因安全问题暂停部分活动。