https://nx.wmlab.top/tags/transformer/Recent content in Transformer on 南巷Hugo -- gohugo.iozh-CNliuwenhao1968@163.com (南巷)liuwenhao1968@163.com (南巷)© 2026 南巷Mon, 15 Jun 2026 02:14:35 +0800https://nx.wmlab.top/portfolio/xingyu-moe/Wed, 15 Apr 2026 00:00:00 +0000liuwenhao1968@163.com (南巷)https://nx.wmlab.top/portfolio/xingyu-moe/围绕 LLaMA2 内部原理与工程实现，系统拆解架构、组件、预训练、SFT、LoRA、推理与 RAG/Agent，形成从理论到应用的大模型学习与实现闭环。https://nx.wmlab.top/blog/segformer/Mon, 15 Jun 2026 02:14:35 +0800liuwenhao1968@163.com (南巷)https://nx.wmlab.top/blog/segformer/提出一个层级（多尺度）且不依赖位置编码的 Transformer 编码器（MiT），可以直接输出多尺度特征（1/4、1/8、1/16、1/32），避免了 ViT 在不同测试分辨率下必须插值位置编码带来的性能下降。https://nx.wmlab.top/blog/maskformer/Mon, 15 Jun 2026 02:14:28 +0800liuwenhao1968@163.com (南巷)https://nx.wmlab.top/blog/maskformer/具体表现：https://nx.wmlab.top/blog/mask2former/Mon, 15 Jun 2026 02:14:20 +0800liuwenhao1968@163.com (南巷)https://nx.wmlab.top/blog/mask2former/MaskFormer 让分割任务变成 “预测一组掩码 + 类别”； Mask2Former 让模型 “只看自己负责的掩码区域，更聪明地预测掩码”。https://nx.wmlab.top/blog/detr/Mon, 15 Jun 2026 02:14:04 +0800liuwenhao1968@163.com (南巷)https://nx.wmlab.top/blog/detr/在做DETR之前，目标检测都是下面两种任务方式：https://nx.wmlab.top/blog/deformable-detr/Mon, 15 Jun 2026 02:14:02 +0800liuwenhao1968@163.com (南巷)https://nx.wmlab.top/blog/deformable-detr/原来大DETR有几个缺点：https://nx.wmlab.top/blog/llama2-hands-on-implementation/Sun, 14 Jun 2026 17:52:34 +0800liuwenhao1968@163.com (南巷)https://nx.wmlab.top/blog/llama2-hands-on-implementation/围绕 LLaMA 2 的数据集、Tokenizer、模型结构与训练代码，记录从原理拆解到工程实现的完整实践过程。https://nx.wmlab.top/blog/llama2-analysis/Sun, 14 Jun 2026 17:49:58 +0800liuwenhao1968@163.com (南巷)https://nx.wmlab.top/blog/llama2-analysis/从模型架构、Tokenizer、RMSNorm、GQA、RoPE、FFN 到输出层，系统拆解 LLaMA 2 的核心组件与设计动机。