「架构技术」共找到 4194 篇相关文章
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
ICML'25 | 告别手动SFT！一句话得到你的专属大模型LoRA
传统微调方法开销大、部署难，Text-to-LoRA (T2L) 框架应运而生。它基于自然语言指令对 Transformer 模型即时适配，有三种架构变体，采用两种训练方法，实验显示其在多维度表现有效。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
十分钟破解加密货币！谷歌在量子计算领域发现了什么？
谷歌提前后量子密码迁移截止日期至2029年，两篇论文从不同层面优化Shor算法，显示量子计算机破解现有密码体系所需资源比预想少。以太坊架构使其面临更广攻击面，比特币也有局部隐患。
Meta再推WorldGen，简单一句话，竟「盖」出50×50米一座城
Meta推出WorldGen，可根据文本提示生成可探索的3D世界。它融合多项技术，能生成50×50米完整纹理化场景，保持风格与几何一致。虽处于研究阶段，但成果可兼容主流游戏引擎，有降本增效潜力。
数学编码超越O3-high，英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集，采用Qwen2.5架构，基于500万条轨迹训练。评测输出长度最高64K token，多版本刷新SOTA。其‘heavy’模式有独特能力，32B版在数学与编程基准超越O3（High）。
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。
Anthropic员工离职创业，估值10亿美元，也做「递归自我改进」
Anthropic离职员工Behnam Neyshabur和Harsh Mehta创立Mirendil公司，获2亿美元种子轮融资，估值达10亿美元。目标是构建工具平台，让科研团队自主训练AI模型，采用递归自我改进技术。
DeepSeek陈德里开发自动研究Skill，写一篇论文人类只动脑2小时
DeepSeek研究员陈德里用自己开发的技能DeliAutoResearch等完成研究综述论文。论文提出自动研究智能体L1–L5自主度分类体系，对比四大架构模式，分析17个主流系统，还提出六大开放问题。
0成本升级，快手OneSearch-V2全量上线，生成式搜索进入「懂你」时代
快手技术团队在 OneSearch 基础上推出 OneSearch-V2 框架，解决电商搜索复杂查询理解不足等问题。该系统全量上线，不增成本与时延，业务收益显著，还缓解信息茧房与长尾稀疏问题。