「高效长上下文建模」共找到 1402 篇相关文章
从BERT到T5再到Qwen3：关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。
惊人的star数,Github 65000+, 揭秘 Strapi一个让你立刻入坑的开源项目！！！
Strapi是领先的开源Headless CMS，有超65000个GitHub Stars。它基于JavaScript/TypeScript，可让开发者灵活构建、定制API，让内容编辑轻松管理和发布内容，能解决诸多内容管理痛点。
刚刚，清华团队用27M参数击败o3-mini！或将改变AI发展方向
清华大学研究团队发布论文，展示Hierarchical Reasoning Model（HRM）。该模型仅27M参数、1000个训练样本，在推理任务上击败OpenAI的o3 - mini - high，或改变AI发展方向。
微软开源2025 ICML获奖框架，终结大模型多轮对话严重缺陷
微软开源2025年ICML获奖框架CoLLabLLM，可解决大模型多轮对话缺陷。它由四大模块构成，经多轮对话模拟和奖励优化模型。在三大基准平台测试显示，能在多样任务中高效协作。
ICML 2025 Spotlight | 快手、南开联合提出模块化双工注意力机制，显著提升多模态大模型情感理解能力！
情智兼备是人工智能发展方向，但多模态情感数据语义复杂，建模跨模态关联是挑战。快手可灵团队与南开提出模块化双工注意力范式，构建‘摩达’模型，在多任务测试中性能提升，成果被 ICML 2025 收录。
DeepMind 再放大招，AlphaGenome 能一次性处理百万碱基对，基因组里的“垃圾代码”这下藏不住了
Google DeepMind发布AI模型AlphaGenome，可预测遗传变异对基因调控的影响。它能处理百万碱基对，结合关键技术，性能顶尖，还能直接建模RNA剪接点，已面向非商业研究开放，引发医疗AI应用讨论。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
AI 编程如何在团队中真正落地？
文章围绕AI编程工具Cursor在团队落地展开。分析推广难题，如使用意愿和能力问题，提出研发流程规范、结构化语言表达和应用级特化解决方案，还给出通用Rules和prompt示例，助力Cursor高效落地。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。
一文彻底搞懂 MCP：AI 大模型的标准化工具箱
MCP（模型上下文协议）是 Anthropic 于 2024 年 11 月开源的新技术，是 AI 大模型的标准化工具箱。它能让大模型与外界互动、获取信息、完成任务，整合 Function Call 标准，几乎所有大模型都可接入。