「学习提升」共找到 3907 篇相关文章
基于闪电注意力机制,创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈,多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax,从架构、创新模块、训练框架等多方面优化,表现突出。
详细介绍!RAG 和 GraphRAG:了解何时(When)、如何(How)使用它们
文章详细介绍传统RAG和GraphRAG技术,前者通过向量搜索检索上下文,但无法体现数据关系;后者用知识图谱提升检索效果,亮点是构建图谱、整合信息。还指出两者优缺点,建议结合使用。
独家丨数千万天使轮融资,中科院背景团队「熵旋芯智」押注存内概率计算
AI 科技评论独家消息,熵旋芯智获数千万元天使轮融资,由英诺天使基金领投。该公司是国内唯一基于 MRAM 构建存内概率计算平台的企业,采用全栈软硬协同策略,有望大幅提升能效比,计划 2027 年初交付芯片。
马斯克“开大”,600亿重金收购Cursor
SpaceX 宣布将以 600 亿美元收购代码生成初创公司 Cursor,或支付 100 亿美元合作。此前 xAI 编程项目落后,3 月挖角 Cursor 核心人员。Cursor 受竞争压力且缺算力,合作有望提升模型智能水平。交易或影响 SpaceX IPO 估值。
数学的上帝粒子!一个运算符能导出所有基本函数
波兰雅盖隆大学的Andrzej Odrzywołek在论文中指出,仅用一个叫EML的二元运算符加常数1,就能推导科学计算器上所有基本函数,还可能为机器学习符号回归提供新思路。
10 年后,Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告,提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线,降低训练成本。马斯克和Karpathy点赞,这或标志深度学习基础范式进入重新讨论阶段。
基于DINOv2和SAM2改进的U-Net模型
DSU-Net是基于DINOv2和SAM2改进的U-Net模型,通过多尺度跨模型特征协作和轻量级适配器模块,解决现有图像分割模型在特定下游任务表现不足问题,提升分割精度,降低训练成本。
多模型共享 GPU 内存,Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点,伯克利Sky Computing Lab团队开源kvcached工具,通过虚拟化技术让多模型共享显存。它引入虚拟内存概念,按需分配,测试显示能提升效率,安装简单、兼容性好。
字节Seedream 4.0将全量开放!抢先评测来了,我们摸索出AI生图20种「邪修」玩法
近日,字节跳动内测豆包・图像创作模型 Seedream 4.0,支持多模态生图,核心能力显著提升。它将全量上线并开放给企业客户。实测显示其多模态融合出色,还与谷歌 Nano Banana 对比,各有优势。
科普向:一文解构大模型后训练,GRPO和它的继任者们的前世今生
文章深入解读大模型后训练,先对比 PPO 与 GRPO,指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法,如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性,还提及 GRPO 其他缺陷。