搜索：视觉语言理解

「视觉语言理解」共找到 2165 篇相关文章

Openai-o3 做不到的事,7B 模型做到了! 推荐系统“慢思考”,广告收入暴涨 4.1%

随着GPT - 4等大语言模型兴起，LLM用于推荐系统遇瓶颈，当前方法停在‘System - 1思维’阶段。A4ec框架把LLM从‘快思考’升级到‘慢思考’，用7B模型实现推荐系统升级，使广告收入暴涨4.1%。

AIGC浪潮下，大语言模型重塑应用开发范式，开发者构建AI应用面临诸多挑战，需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进，有轻量化通信与智能化资源调度两大创新，还介绍了多场景实践。

自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。

弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。

上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。

文章提出思维锚点概念，指推理轨迹中影响后续步骤和答案的关键句。开发三种归因方法，系统论证高级组织句影响力更大，锚点主导错误修正。研究为理解LLM推理机制开辟新途径，开源工具支持可视化分析。

InfoQ《极客有约》X AICon 直播邀请同程、网易、百度工程师探讨大模型入研发体系的变化。指出其在提效、协作、分工上作用大，还分析了适用场景、工程师收益类型及核心竞争力等，也提及效率评估、代码生成等问题。

研究人员发现大语言模型遗忘并非简单信息删除，可能藏于内部。他们构建表示空间诊断工具，区分可逆与不可逆遗忘，揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证，得出系列结论。

中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。

长文本能力对语言模型重要，但现有模型训练窗长有限，流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足，提出傅里叶位置编码FoPE，提升长文本泛化能力，实验表现超RoPE。