「量化噪声」共找到 228 篇相关文章
MSSP | 西北工业大学马启悦,高传强等:融合激波位置的跨声速抖振气动载荷辨识
本文提出融合激波位置的跨声速抖振气动载荷辨识方法,从时序流场提取激波特征,用稀疏辨识构建参数化代数方程,增强预测精度与泛化能力,为准确预测跨声速气动载荷提供新思路。
为什么BF16的FlashAttention会把训练「炸掉」?清华首次给出机制解释,用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题,清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致,还给出极小修改稳定训练,且在多模型和硬件上验证有效。
谷歌推出 LLM-Evalkit,为提示词工程带来秩序与可衡量性
谷歌推出基于 Vertex AI SDK 的开源框架 LLM - Evalkit,让大语言模型提示词工程更有序可衡量。它整合实验、测试等环节,与谷歌云工作流集成,有无代码界面,已在 GitHub 发布。
14%论文都有AI代写?Nature:每7篇就有1篇藏有ChatGPT特征词
据Nature报道,研究发现在2024年PubMed上超20万篇生物医学研究摘要频繁出现LLM特征词。部分国家和学科中,AI辅助写作比例超五分之一且趋势上升,作者还会引导LLM规避痕迹。
创建“中国的ASML”!中芯国际、北方华创等掌舵人联名建议
多位中国集成电路行业领军人物联合撰文,提出在‘十五五’期间通过整合机制,集中力量解决极紫外光刻等关键问题,建议创立‘中国的ASML’,还设定了未来五年产业发展的量化目标。
AI地理学家诞生:麻省理工、斯坦福用多智能体框架重塑地理空间建模,刷新SOTA
麻省理工、慕尼黑工大及斯坦福AI实验室发布GeoEvolve框架,深度融合地理知识与进化算法,实现复杂地理空间模型自动发现与优化。经实验验证,其性能超越以往基准,有望在多领域发挥作用。
比Transformer更强的架构来了?浙大新作Translution,一统卷积和自注意力
随着大模型发展遇瓶颈,浙大等校学者提出神经网络基础操作Translution,实现自注意力与卷积的融合统一,构建更普适神经计算机制。它性能超Self - attention,为新一代神经网络发展开辟新方向。
长生不老成真?哈佛AI数周破解「衰老密码」,人类寿命或迎重写
哈佛团队借助AI系统K-Dense揭示衰老分阶段运行的秘密。K-Dense采用层级多代理架构,能完整跑通研究流程,在BixBench测试中超越GPT - 5。它还让哈佛团队几周完成原本数年的研究,成果待同行评审。
讲座分享 | 密歇根大学Karthik Duraisamy教授
密歇根大学Karthik Duraisamy教授将开展讲座,主题为数据驱动的湍流建模。会介绍过去十年嵌入学习模型增强的进展,强调简约与约束平衡,指出存在的陷阱及挑战,还提及让数据驱动封闭成为可靠组件的要点。
TACL 综述 | 别只卷架构了——长文本模型的能力天花板,其实是数据决定的
该 TACL 综述首次从数据视角审视长上下文语言模型,指出长上下文能力本质是数据驱动。它建立分类体系,明确高质量长文数据条件,给出核心能力的数据配方与评估法,还整理数据集和基准,提出待解问题。