「为旌科技」共找到 5051 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
突破瓶颈，嵌入式AI神经持续学习引擎—Replay4NCL
阿联酋、纽约、巴基斯坦大学研究人员推出Replay4NCL，解决嵌入式AI持续学习难题。它优化记忆重放，有创新架构和训练策略。实验显示其精度高、延迟低、省内存、能耗少，成果将在2025年DAC大会展示。
在智算中心，部分国产芯片闲置率高达80%？
随着人工智能发展，智算中心成为科技竞争“新基建”。国内建设热潮出现波动，存在投资热度与阶段性“算力过剩”并存现象，还面临国产芯片闲置率高问题，提出需“精细化”管理提升算力利用率 。
「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！
本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。
这次，Token要直接发给学生，每人30万元
AI时代Token已成为核心科研资源，高校学生普遍面临Token匮乏、科研试错成本高的痛点。腾讯启动第二届青云奖学金，为每位获奖学生提供30万元Token额度加20万元现金，还配套产业交流资源。
我给阶跃星辰 Step 5 Preview 出了一道工程题
本文作者池建强参与阶跃星辰新一代旗舰大模型Step 5 Preview小范围内测，设置带两层bug和隐藏需求的编码工程题，与Qwen 3.8 Max、Kimi K3对比测试，分享实际项目使用体验，给出客观评测。
OpenAI押注RSI，国产AI火速交卷！Flash叫板万亿大模型
OpenAI、Anthropic先后公开布局递归自我改进（RSI），国内云知声推出搭载RSI自迭代机制的U2-Flash大模型，本文带来实测表现与技术路径拆解，验证小激活规模对标万亿大模型的可行性。
随着 AI 内存需求推高非 AI 基础设施价格，OVHcloud 将上调服务价格
OVHcloud 将于秋季上调多数服务价格，主因是自 2025 年年中起内存与存储组件成本大幅攀升，创始人 Octave Klaba 认为是 AI 算力建设热潮挤占了普通服务器核心组件的晶圆制造产能。
MinerU又开源了！这次专治OCR跨页失忆症
文档解析领域，MinerU团队开源了专门给OCR结果做“后处理”的4B小模型MinerU - Popo。它能把碎成一页一页的OCR结果重新拼成文档级结构，解决了当前OCR跨页逻辑断裂问题，且效果和成本优势突出。