「注意力模式」共找到 1111 篇相关文章
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
今年TRAE写的代码：100000000000行！超50%程序员每天在按Tab键
2025年末TRAE发布年度产品成绩单，一年写1000亿行代码、超50%用户高频用Tab键。其Cue功能助行业进入人机共生，SOLO模式让开发者成指挥者。它历经三阶段，指标优、构建生态，是中国AI IDE领域领先者。
长文本生成迎来新突破：拓元智慧推出 DrDiff ，实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架，解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”，有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件，经测试表现良好，未来应用值得期待。
当ChatGPT也开始逐渐成为微信的模样。
OpenAI Blog提出目标是帮用户更好使用注意力，衡量标准是用户是否解决问题后离开，这与张小龙提出的微信“用完即走”理念相似。微信曾在流量时代坚持此理念，如今也面临桥与巢的矛盾。
首钢园具身智能持续进化！他山科技携手图灵奖顶尖学者激活数字科创“触觉引擎”
当具身智能成下一代AI核心战场，他山科技签约图灵奖得主理查德·萨顿教授，通过“机器人幼儿园”模式探索进化路径。其自主研发触觉感知技术，与萨顿强化学习理念结合，为具身智能发展提供新思路。
首个国产开源AI原生后端，不再写后端，AI就是全栈工程师。
Aipexbase是首个国产开源AI原生后端即服务平台，能在AI辅助下完成前后端一体化开发。开发者无需编写后端代码，通过前端SDK或MCP一键调用后端能力，适配国内生态，定义了AI原生开发新模式。
英伟达咽喉上的苏州人
英伟达供应链名单中，英诺赛科意外现身。它从珠海‘三无小作坊’起步，7年吸金60亿，成英伟达中国独家供应商。创始人骆薇薇回国创业，选IDM模式和8英寸工艺，带领公司成全球首量产8英寸硅基氮化镓晶圆企业。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。