信息瓶颈理论」共找到 1375 篇相关文章

产品应用7

Cursor为Blackwell从零构建MXFP8内核,MoE层提速3.5倍,端到端训练提速1.5倍

Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈,他们回归基础,从零重写MoE训练层,抛弃对现有CUDA库依赖,释放了Blackwell架构潜能,实现MoE层和端到端训练提速。

机器之心
新闻资讯7

奥特曼曝惊世预言:2035年GPT-8治愈癌症!人类将为算力爆发三战

新智元报道,GPT - 5发布引热议,奥特曼在访谈中金句不断。他预言2027年AI有重大科学突破,2035年GPT - 8或治愈癌症,2050年人类可能为AGI算力争夺爆发三战,还谈及AI发展瓶颈、对人类影响等。

新智元
新闻资讯8

在「外滩大会·具身智能:从泛化到行动,重塑产业未来」上,这些大牛都说了什么?

9月11日,机器之心联合出品的外滩大会见解论坛聚焦具身智能。多位学界和业界代表分享看法,如孙富春称训练场可破数据瓶颈,江磊指其是新型数据工厂。思辨和圆桌环节探讨技术路线、应用场景等关键问题。

机器之心
开源动态8

9.7K Star 把 AI 编码的 token 消耗砍了 16 倍

当前AI编码工具默认读取整个项目文件,token消耗高。code-review-graph项目用Tree-sitter解析代码库成图,追踪改动“爆炸半径”,平均省8.2倍token,技术轻量,还能做社区检测。它揭示AI编码瓶颈信息输入质量。

CourseAI
新闻资讯7

你的扫描全能王,作价217亿冲刺港股IPO

扫描全能王母公司合合信息拟作价217亿赴港IPO,冲刺“A+H”双重上市。其C端有扫描全能王等产品,B端有TextIn等产品。合合以文本智能技术为核心,打造三大技术平台,C端靠付费订阅、B端卖产品模块盈利。

量子位
开源动态8

R-HORIZON:长程推理时代来临,复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式

复旦大学与美团LongCat Team联合推出R - HORIZON,它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据,评测发现主流模型长链推理性能断崖式下降,还分析出三大瓶颈,训练后模型性能双重提升。

机器之心
算法论文8

FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾

文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。

GiantPandaLLM
推荐文章8

10万引普林斯顿刘壮最新访谈:架构没那么重要,数据才是王道

普林斯顿大学助理教授刘壮在访谈中指出,架构没那么重要,数据、规模和记忆才是决定AI成败的关键。他认为ConvNet和Transformer性能差异源于训练细节;当前数据集远不够多样;大语言模型有语言空间的世界模型,但视觉空间的还缺失;记忆是瓶颈,智能体只是权宜之计;AI目前还替代不了研究生。

量子位
产品应用8

新一代AI教师是什么样?学而思让它从L2「助手」跃迁至L3「老师」

在AI应用落地成关键的当下,教育成AI融合创新前沿。好未来CTO田密提出「AI教师L1 - L5分级」理论,指出当前AI老师达L2水平,L3正演进。学而思学习机的「小思AI一对一」迈向L3,依托硬件和自研大模型,结合优质内容,从可用走向可信。

机器之心
推荐文章7

Cursor AI 上下文管理的秘诀

Cursor发表《Dynamic context discovery》文章,讲述上下文管理秘密,提出“动态上下文发现”模式,分享五个优化手段,如长输出变文件、聊天历史变档案等,还阐述了为何用“文件”及相关思考。

宝玉AI