LLM ARCHITECTURE & AGENTIC RUNTIMES ✦

大模型底层架构与
智能体工程实战

深度解构 Transformer 显存拓扑、DeepSeek MLA、vLLM 高吞吐推理、模型量化与生产级 Agent 运行时系统。

LLM_TOPOLOGY_MONITOR // PROD ONLINE
INFERENCE ENGINE vLLM PagedAttention
KV Cache -68%
ATTENTION TOPOLOGY DeepSeek MLA (Latent Compression)
1/7 KV Footprint
AGENT RUNTIME Model Context Protocol (MCP)
Loop & Tools
BENCHMARK RADAR Frontier Arena & SWE-bench
Verified

最新技术专栏

紧跟前沿技术演进,记录大模型工程化实战心得

推理架构

解密 DeepSeek 推理印钞机:DeepInfer 与 deepseek-recipe 从硅基地基到协议顶层的生产全栈拆解

从底层芯片与通信物理地基,到算子内核、PD 极致分离拓扑、DSpark 动态投机解码、SWA 边界重放,再到 deepseek-recipe 协议中间层与百万亿 Token 商业印钞机经济学,全景剖析 DeepSeek 最新开源生产推理全栈。

阅读全文 →
生产落地与NCCL调优

InfiniBand 生产级集群落地运维与 NCCL 极限调优:OFED 驱动、OpenSM 主备高可用、ibdiagnet 巡检与 GPUDirect RDMA 实战

从网络架构设计到万卡 AI 智算中心裸金属物理落地,工程师必须攻克哪些工程深水区?全景拆解 InfiniBand 生产落地实战:Mellanox OFED / DOCA 驱动栈与固件管理工具(flint/mlxlink);搭建基于 OpenSM 的 Master/Standby 主备高可用子网管理架构;深入实战 ibdiagnet 全网巡检,秒级定位物理层 Symbol Error 脏光纤与降速协商链路;并深入 GPU 通信最底层,实战验证 GPUDirect RDMA(nvidia-peermem 驱动)与 NCCL 核心环境变量(NCCL_IB_HCA / NCCL_NET_GDR_LEVEL=5)极限压测调优。

阅读全文 →
胖树拓扑与自适应路由

InfiniBand 智算集群组网实战:Fat-Tree 胖树拓扑、Rail-Optimized 轨道优化设计、自适应路由 (AR) 与 SHARP 网内计算

如何将成千上万台配备 8 卡 GPU 的服务器用万根光纤编织成一张无阻塞、零死锁的高性能互联网络?深入剖析万卡 AI 智算中心核心拓扑:从 1985 年 Leiserson 胖树(Fat-Tree)数学模型、端口数 k 与 2-Tier/3-Tier 最大节点数严格推导,到专为 DGX H100/H200/B200 量身定制的 Rail-Optimized(轨道优化)八独立平面物理组网;深入解析 FTree 与 Up/Down 算法如何通过禁止“先下后上”破除信用死锁环路;并解密自适应路由(Adaptive Routing)与 SHARP 交换机网内规约计算如何将 All-Reduce 集合通信带宽效率提升 2 倍。

阅读全文 →
InfiniBand体系与SM

InfiniBand 架构第一性原理:物理链路速率演进、Credit-Based 链路级流控与子网管理器 (Subnet Manager) 全局编排

为什么在 2026 年全球顶尖的万卡 AI 算力集群与前沿超算中,原生 InfiniBand 依然牢牢统治着智算中心的核心动脉?深度拆解 InfiniBand 分层协议栈与物理层演进史:从 EDR 100G、HDR 200G、NDR 400G(Quantum-2)到 2026 规模量产的 XDR 800G(Quantum-X800/ConnectX-8);剖析链路层第一性原理:基于 Flit 的 Credit-Based 信用度硬件级流控与 Cut-Through 直通交换纳秒级低时延机理;解密控制中枢子网管理器(Subnet Manager, OpenSM)全网拓扑发现、GUID/LID/LMC 动态编排与 LFT 线性转发表下发控制全流程。

阅读全文 →
Linux网络与eBPF

Linux 内核网络子系统硬核剖析:从网卡驱动、NAPI 机制、Ring Buffer 到 eBPF XDP 极速转发

一个以太网电脉冲是如何最终变成应用程序内存中的数据的?深度剖析 Linux 操作系统内核网络协议栈全流程:从硬件网卡 RX Ring Buffer 描述符、PCIe DMA 零 CPU 搬运,到硬中断触发、NAPI 混合轮询机制与 ksoftirqd 软中断调度;全景透视 Linux 内核最核心的数据结构 sk_buff 指针拓扑与零拷贝内存流转;详解多核网卡 RSS 多队列与 RPS/RFS CPU 亲和性调优;并深入技术最前沿,剖析 eBPF XDP(eXpress Data Path)如何在网卡驱动层实现千万级 PPS 极速包转发与防 DDoS 机制。

阅读全文 →
RDMA与RoCEv2

RDMA 高性能通信基石:Kernel Bypass、Zero-Copy、Queue Pair 机制与无损以太网 RoCEv2 (PFC/ECN) 全景透视

为什么在 400G/800G 网络时代,传统的 TCP/IP 协议栈彻底沦为算力黑洞?深度拆解 RDMA(远程直接内存访问)第一性原理:Kernel Bypass(内核旁路)、Zero-Copy(硬件级零拷贝)与内存注册(Memory Registration/L_Key/R_Key);剖析 ibverbs 核心架构:Queue Pair(SQ/RQ)、完成队列(CQ)以及双边操作(Send/Recv)与单边操作(RDMA Read/Write/Atomic)的微秒级机理;解密无损以太网 RoCEv2(UDP 端口 4791)如何通过 PFC 802.1Qbb 八优先级流控反压与 ECN/DCQCN 拥塞控制闭环解决丢包崩溃与死锁难题。

阅读全文 →

关于作者

技术背景、三大工程信条与核心攻坚方向

ARCHITECT DOSSIER // BUPT CS

ifnodoraemon (大雄)

LLM Systems & Autonomous Agent Architect

这里是我沉淀大模型底层架构机理、分布式推理部署排障与智能体运行时工程的实战档案。毕业于北京邮电大学计算机科学与技术专业,深耕于超大规模模型推理加速、KV Cache 显存拓扑建模与生产级自主 Agent 闭环交付。

“代码必可验证,数据必有溯源,拓扑必有数学。拒绝空中楼阁式的 Prompt 搬运,做经得起生产集群考验的硬核 AI 系统工程。”

查看完整架构师档案与技术脉络 →

三大工程攻坚阵地

⚡
高吞吐分布式推理部署 4 节点 32 卡 H100 裸金属集群 · vLLM PagedAttention · FP8 动态量化
🧠
注意力拓扑与显存墙突破 DeepSeek MLA 低秩潜变量压缩 · KDA 增量状态 · RoPE 长窗外推
🤖
生产级智能体运行时工程 Model Context Protocol (MCP) 统一总线 · MCTS 反思纠错 · 容器安全沙箱
65+
万字硬核研报
100%
物理机实操验证
32GPUs
H100 裸机实战

核心技术栈全景

K8s & GPUStack (MaaS) A800 / H800 / 910B / PPU 810E vLLM & SGLang Serving DeepSeek MLA & KDA Model Context Protocol (MCP) Java & Spring Boot 微服务 Python 3.13 & FastAPI scikit-learn (SVM / NLP) C++ / Python Qt 跨平台桌面 React & Next.js Vue 3 & TypeScript PyTorch & Triton Docker & Linux eBPF