「几何上下文注意力」共找到 899 篇相关文章
「幻觉」竟是Karpathy十年前命名的？这个AI圈起名大师带火了多少概念？
AI大牛Andrej Karpathy是命名大师，“幻觉”一词由他命名，2022年随ChatGPT火起来。他还提出软件2.0、3.0，氛围编程、细菌式编程等概念，转发带火上下文工程，平时推文也让一些问题受关注。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
印度裔 AI 负责人删掉 Karpathy 90%遗留代码，马斯克 Robotaxi 终上线！用户体验：不要小费，还可能倒给你钱
当地时间6月22日，特斯拉在奥斯汀启动Robotaxi试点服务。其AI团队核心成员是印度裔阿肖克和德国工程师米兰。技术上精简代码、扩展模型上下文长度，用户体验顺畅，但与马斯克此前设想设计有差异，国内也有多家企业开展此业务。
LibTV这个邪修功能，大大减少AI视频抽卡次数！
作者分享在LibTV用「深度动作捕捉」功能做AI视频，将视频动作提取成深度图，可减少AI视频生成失败率，且不花积分，深度图管几何，提示词管外观，提一次能用多次。
Granola 为什么能赢：会议笔记，把产品做简单很重要
Granola是新推出一年多的AI笔记产品，迅速成硅谷创业者、投资人常用工具。其创始人认为，“AI笔记”头号竞争对手是苹果备忘录。产品好用关键在于极简“蜥蜴脑设计”与利用用户“上下文”，文中还分享设计思考与实用经验。
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
The Batch：841 | 大语言模型正在纠正历史遗留的不公
美国北加州旧不动产契约含种族歧视条款，虽已非法但人工筛查耗时久。斯坦福和普林斯顿研究团队微调大语言模型识别圣克拉拉县契约中的歧视条款，模型可理解上下文，结果经律师确认，研究成果已开源。
智能体工程的隐形技术债：10分钟造出一个 Agent，公司却要为它养一个平台团队
如今构建智能体容易，但投入生产后会面临诸多问题。文章围绕智能体绘制出集成、上下文湖等七个基础设施模块，分析各模块隐性技术债务，并指出不同阶段债务表现，还提及应对措施及相关会议推荐。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。