「token表示」共找到 979 篇相关文章

算法论文8

揭开大模型“伪遗忘”,港理工等团队:结构不变就是没忘

近年来大语言模型隐私风险受关注,机器遗忘技术应运而生。港理工等团队构建表示空间诊断工具,区分‘可逆性遗忘’与‘不可逆遗忘’,揭示遗忘现象背后表示结构变化规律,还做了相关实验并得出核心结论。

量子位
开源动态8

超长推理还能节省计算!Salesforce开源神器两连发:教大模型边想边省,显著提升数学编程准确率

Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分,分配token预算,使输出缩短、准确性提高;后者打碎推理链条,从三维度采样,以更少tokens换更高准确率,均提升数学和编程任务准确率。

量子位
算法论文8

ICML 2025 | 注意力机制中的极大值:破解大语言模型上下文理解的关键

ICML 2025新研究揭示,在使用RoPE的现代Transformer模型里,注意力机制Q和K表示有集中极大值,V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系,对模型设计、优化和量化有重要启示。

深度学习自然语言处理
算法论文8

ICML 2025 | 注意力机制中的极大值:破解大语言模型上下文理解的关键

ICML 2025新研究揭示,在使用旋转位置编码 (RoPE) 的现代Transformer模型中,注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值,而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

机器之心
开源动态9

全球首个机器人任务原生3D世界模型:跨维UNITAS让机器人学会物理直觉,横扫多个榜单

跨维智能发布全球首个机器人任务原生3D世界模型UNITAS,将观察、动作、环境变化统一到同一三维物理表示空间,仅1.7B参数就横扫多项机器人评测榜单,性能超越多倍规模的大参数模型,为Physical AGI探索了新的统一表示路径。

机器之心
开源动态7

像原始人一样和AI对话,费用可直接砍掉40%

开源项目‘caveman-compression’能帮使用ChatGPT API或其他大模型的用户省钱。原理是删废话留关键信息,有调用OpenAI和本地NLP两种压缩方式,不同场景省钱效果不同,还介绍了使用方法。

AI工程化
新闻资讯9

刚刚,谷歌Gemini 4 Argon上线,API价格限时五折

本文报道谷歌DeepMind刚刚上线Gemini 4 Argon大模型,介绍其核心能力、多领域应用案例与定价信息,模型聚焦复杂任务处理,当前API开放且限时五折优惠。

机器之心
新闻资讯7

Coinbase CEO:全员强制 AI 编程,违者开除!

Coinbase CEO Brian Armstrong在播客透露,因部分工程师拒绝使用AI编程助手,他解雇了几人。公司为工程师买了AI工具企业许可证,他强制全员注册使用,认为AI是必选项。Stripe联合创始人对依赖AI代码存疑。

AGI Hunt
开源动态7

OpenClaw引爆的AI Agent浪潮中,终于有芯片给端侧“解渴”了

OpenClaw让AI Agent成产业竞赛焦点,但云端方案算力、成本和安全问题凸显。瑞芯微推出端云协同方案ClawChips,采用算力解耦架构,在成本与场景适配间找平衡,还开源并提供开发套件借用权益。

芯师爷
算法论文7

华人团队让AI把表格“翻译”成问题,检索速度×5

表格检索在RAG里是小众问题,传统表格问答系统有Retriever和Reader组件,关键是对齐表格与问题语义。QGpT能生成模拟问题,使表格语义更丰富、对齐更准确,分离线、在线阶段,训练后可提升检索收益。

CourseAI