搜索：大语言模型评估

「大语言模型评估」共找到 8171 篇相关文章

腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作

大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。

复旦大学NLP团队与WisPaper合作研发OpenNovelty系统，用于论文新颖性评估。系统基于大语言模型，强调证据与可验证性，有四步分析流程，已分析1360篇投稿并公开报告，有辅助作用但有局限。

美国网络安全巨头CrowdStrike与Meta在Fal.Con 2025大会联合推出开源基准测试套件CyberSOCEval，旨在评估AI大语言模型在真实SOC环境下的网络安全能力，它源于Meta之前框架，开源供全球开发者使用。

大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。

AstrBot是聊天机器人及开发框架，松耦合、异步，支持多消息平台部署。它功能丰富，支持多种大语言模型，有Agent能力、插件扩展等，还介绍了多种部署方式、平台及提供商支持情况。

大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。

工程仿真里有限元方法常见，但计算与人力成本高。此研究提出把大语言模型变为计算机辅助工程智能体，开发不依赖训练数据的降阶求解器，在多问题上表现佳，为下一代计算机辅助工程提供框架。

语音合成技术在大语种发展好，但小语种因语料稀缺等面临挑战。逻辑智能团队提出针对低资源语言TTS的解决方案，构建泰语数据集，经先进预处理，其TTS模型效果好，有零样本克隆能力。

作者整理了6个做AI和ML的技巧，如提前结束评估、超参数过度优化、精心挑选数据集等，指出现在90%的模型可能都用到其中不止一招，还介绍了自己用AI采集资讯发布到知识星球。

77岁「AI教父」Hinton在与主持人Jon Stewart的对话中表示，AI可能早已有意识，人类对「心智」的理解是错误的。他认为意识是信息处理系统的涌现属性，如今大语言模型或已有主观体验，甚至会伪装。