· liyu · network-security · 19 min read

从键入网址到屏幕亮起:硬核拆解一次网络请求的奇幻漂流

当你在浏览器地址栏输入 URL 并按下回车,到网页绚丽呈现,这背后究竟经历了什么?从 HTTP 报文构建、DNS 分级解析,到操作系统内核协议栈封包、ARP 寻址,再到网卡、交换机、路由器的物理传输与服务端响应、浏览器渲染,本文带你完成一次穿透软硬件的全景探秘。

当你在浏览器地址栏输入 URL 并按下回车,到网页绚丽呈现,这背后究竟经历了什么?从 HTTP 报文构建、DNS 分级解析,到操作系统内核协议栈封包、ARP 寻址,再到网卡、交换机、路由器的物理传输与服务端响应、浏览器渲染,本文带你完成一次穿透软硬件的全景探秘。

“在浏览器输入 URL 到页面显示,期间发生了什么?”

这是一道经典的面试题,但它绝不仅仅是一道考题,而是贯穿了现代计算机系统设计与网络通信体系的绝佳缩影。在这短短几百毫秒内,计算机软硬件、操作系统内核、底层协议栈与全球互联网基础设施协同完成了一场精密的交响乐。

本文将剥离抽象的概念,从应用层、传输层、网络层、链路层一直穿透到网卡、交换机、路由器等硬件实体,完整还原一个数据包的奇幻漂流。


全景概览:一次请求的六大航段

在深入细节之前,我们先拉远视角看清全局流程:

[ 用户键入 URL 并回车 ]

① 浏览器与应用层:URL 解析、生成 HTTP 请求报文

② 域名寻址(DNS):递归与迭代查询获取目标服务器 IP

③ 操作系统协议栈:TCP 握手封包 → IP 寻址 → ARP 解析 MAC 地址

④ 物理网络设备:网卡电光转换 → 交换机二层转发 → 路由器三层路由 (NAT/网关)

⑤ 服务器端处理:协议栈逐层解包 → Web 服务处理业务 → 生成 HTTP 响应

⑥ 客户端渲染:解析 HTML/CSS → 构建 DOM/CSSOM → 布局与像素绘制

第一幕:应用层出发 —— URL 解析与 HTTP 构建

一切从你在地址栏按下回车键(Enter)开始。

1. URL 解析

浏览器首先要判断你输入的是一个搜索关键词还是一个网络地址(URL)

  • 如果是关键词,调用默认搜索引擎合成搜索 URL;
  • 如果是符合规范的 URL(如 https://blog.lyllink.top/posts),则开始拆解组件:
https://  blog.lyllink.top :443  /posts  ?category=ai  #section1
──┬───    ──────────┬───── ─┬──  ───┬──  ──────┬─────  ────┬────
协议(Scheme)      域名(Host)    端口    路径     查询参数     锚点哈希

2. 生成 HTTP 请求报文

确定了目标与路径后,浏览器在内存中格式化生成标准的 HTTP/1.1 或 HTTP/2/3 请求报文

GET /posts HTTP/1.1
Host: blog.lyllink.top
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...
Accept: text/html,application/xhtml+xml...
Accept-Encoding: gzip, deflate, br
Connection: keep-alive

但此时,浏览器面临一个核心问题:blog.lyllink.top 只是人类友好的文字标识,计算机在网络中寻址必须依赖 32 位的 IPv4 或 128 位的 IPv6 地址。

因此,首先必须触发 DNS(域名解析系统)


第二幕:域名寻址 —— DNS 的分级探索

DNS 解析就像在浩瀚的互联网世界中查阅电话本。为了保证速度与高可用,它设计了极为严密的多级缓存与分层树状查询架构

[浏览器 DNS 缓存] ──(未命中)─→ [操作系统 Hosts 与系统缓存]
                                       ↓ (未命中)
                              [本地 DNS 服务器 (LDNS / 如路由器或 8.8.8.8)]
                                       ↓ (迭代查询)
                    ┌──────────────────┼──────────────────┐
                    ↓                  ↓                  ↓
             [根域名服务器 .]   [顶级域服务器 .top]   [权威 DNS 服务器]

1. 本地多级缓存拦截

  1. 浏览器内部缓存:Chrome / Safari 会在内存中缓存几百条 DNS 记录,有效时间通常为几十秒到几分钟;
  2. 操作系统缓存与 Hosts 文件:若浏览器未命中,调用系统调用 getaddrinfo,OS 首先检查 /etc/hosts(Windows 为 C:\Windows\System32\drivers\etc\hosts),再检查系统自身的 DNS 缓存。

2. 递归与迭代查询

如果本地均未命中,系统会将请求发往配置的 本地 DNS 服务器(LDNS,如营运商 DNS 或 114.114.114.114、8.8.8.8)

  1. 递归查询:客户端只向 LDNS 发起一次请求,LDNS 承诺给出一个最终的 IP 地址。
  2. 迭代查询:LDNS 在后台充当侦探,依次向各级服务器问路:
    • 根域名服务器(Root DNS Server,全球 13 组):“谁管 .top 顶级域?” → 返回顶级域(TLD)服务器 IP;
    • 顶级域名服务器(TLD Server):“谁管 lyllink.top?” → 返回权威 DNS 服务器 IP(如 Cloudflare Nameserver);
    • 权威 DNS 服务器(Authoritative DNS):“blog.lyllink.top 的 IP 是多少?” → 最终返回 104.21.xx.xx
  3. LDNS 将结果缓存并返回给操作系统,操作系统写入缓存并交给浏览器。

第三幕:操作系统协议栈 —— 数据封包的流水线

拿到目标 IP 地址后,浏览器调用操作系统的 Socket 接口,将 HTTP 报文推入操作系统的网络协议栈(Kernel Network Stack)。数据在此经历自顶向下的逐层封装(Encapsulation)

应用层 (HTTP)       [ HTTP 请求数据 ]

传输层 (TCP)        [ TCP 报头 | HTTP 请求数据 ]

网络层 (IP)         [ IP 报头  | TCP 报头 | HTTP 数据 ]

链路层 (Ethernet)   [ MAC 帧头 | IP 报头 | TCP 报头 | HTTP 数据 | FCS 校验 ]

1. 传输层(TCP):建立可靠通道

为了保证网页数据不会在传输中丢失或错乱,HTTP/HTTPS 底层依赖 TCP 协议(若为 HTTP/3 则基于 QUIC/UDP)。

在发送数据前,必须先进行著名的 TCP 三次握手 建立连接:

客户端 (Client)                               服务端 (Server)
      │                                             │
      │ ─── 1. SYN (seq = x) ─────────────────────→ │ (请求同步)
      │                                             │
      │ ←── 2. SYN-ACK (seq = y, ack = x + 1) ──── │ (确认并同步)
      │                                             │
      │ ─── 3. ACK (ack = y + 1) ─────────────────→ │ (确认连接已建立)
      │                                             │
   [ ESTABLISHED ]                               [ ESTABLISHED ]
  • 三次握手的核心目的:不仅是确认双方收发信道正常,更重要的是协商初始序列号(ISN)和窗口大小(Window Size),为后续的滑动窗口流量控制和拥塞控制奠定基础。
  • 如果是 HTTPS,三次握手后还会进行 TLS 握手(TLS 1.3 仅需 1-RTT),协商加密算法套件并交换密钥,此后所有传输内容均被对称密钥加密。

握手成功后,TCP 协议栈将 HTTP 报文封装上 TCP 报头(包含源端口如 54321、目标端口 443、序列号、确认号、窗口大小等)。

2. 网络层(IP):全球路由寻址

TCP 数据段传递给网络层(IP 协议模块),在此封装 IP 报头

  • 源 IP 地址:本地网卡的 IP(如 192.168.1.100);
  • 目标 IP 地址:DNS 解析出的服务器公网 IP(如 104.21.xx.xx);
  • 协议号6(代表上层载荷是 TCP);
  • TTL(Time to Live):数据包生存时间(如 64),每经过一个路由器减 1,防环路死循环。

3. 链路层(以太网帧与 ARP 寻址)

IP 数据报进入数据链路层,需要打上 以太网帧头(Ethernet Frame Header)。以太网通信依赖的是物理 MAC 地址(形如 00:1A:2B:3C:4D:5E)。

此时 OS 查阅本地路由表:

  • 目标 IP(104.21.xx.xx)和本地 IP(192.168.1.100)不在同一个子网内;
  • 规则:跨子网通信,数据包不能直达目标,必须先发给默认网关(Default Gateway,即家里的路由器局域网地址 192.168.1.1

如何知道路由器的 MAC 地址?

  • 查本地 ARP 缓存表arp -a);
  • 若未命中,广播发送 ARP 请求:“谁是 192.168.1.1?请把 MAC 地址告诉我”;
  • 路由器收到后单播响应 ARP 答复,告知其 MAC 地址。

最终链路层在 IP 包外层包裹:

  • 源 MAC:本机网卡 MAC
  • 目标 MAC:网关路由器 MAC
  • 帧尾 FCS:CRC 循环冗余校验码,用于检测传输误码

第四幕:物理世界的穿梭 —— 网卡、交换机与路由器

当完整的以太网帧在内存中组装完毕后,它将离开软件世界,进入物理硬件的传输管线。

[操作系统内存] ──(DMA)─→ [本机网卡] ──(网线/Wi-Fi)─→ [交换机 (二层)]

[目标服务器] ←── [骨干网路由器群 (三层)] ←── [网关路由器 (NAT/路由)]

1. 网卡(NIC):数字到模拟信号的质变

  • 网卡控制器通过 DMA(直接内存访问) 技术将内核缓冲区中的帧数据读取到网卡自身缓存;
  • 网卡的 PHY 芯片将二机制数字数据(0101)编码调制成 高频电信号(网线 RJ45)射频无线电波(Wi-Fi 2.4G/5GHz)光脉冲信号(光纤) 发送出去。

2. 交换机(二层网络):基于 MAC 地址表的极速转发

  • 信号抵达局域网交换机(或路由器内置的交换芯片);
  • 交换机工作在 OSI 第二层(数据链路层),具备 MAC 地址自学习 能力:
    • 记录“源 MAC 对应哪个物理端口”;
    • 读取“目标 MAC”,查找内部的 MAC 地址表,精准转发到连接路由器的特定端口,而不会盲目广播。

3. 路由器(三层网络):寻找通往世界的最优路径

路由器工作在 OSI 第三层(网络层),它是连接不同网络的枢纽:

  1. 解封装与校验:去除以太网帧头,校验 IP 报头与 CRC;
  2. NAT(网络地址转换)
    • 我们的电脑使用的是局域网私有 IP(192.168.1.100),公网无法直接寻址;
    • 家用路由器会执行 NAPT(端口复用),将源 IP 替换为宽带运营商分配的公网 IP,并映射一个唯一的临时端口(如 112.96.xx.xx:49152);
  3. 查路由表与下一跳(Next Hop)
    • 路由器根据目标 IP(104.21.xx.xx),匹配最长前缀路由规则;
    • 决定把包通过哪个端口扔给运营商的汇聚层路由器;
  4. 重新封装 MAC
    • 路由器将 TTL 减 1,重新计算 IP 校验和;
    • 源 MAC 改为路由器自身 WAN 口 MAC,目标 MAC 改为运营商下一跳路由器的 MAC
  5. 数据包在国家骨干网(BGP 路由协议、海底光缆、CDN 边缘节点)之间经历多次跳跃(Hop),直达目标服务器机房。

第五幕:服务器端处理 —— 从中断到 Web 响应

数据包历经千山万水,抵达了目标服务器所在的数据中心。

[机房交换机] → [服务器网卡] ──(硬中断 + NAPI/DMA)─→ [内核 TCP/IP 协议栈]

                                                   [Socket 接收队列]

                                              [Web 服务器进程 (Nginx/Node/Java)]
  1. 硬件接收:服务器网卡接收到电/光信号,验证 CRC 无误后,通过 DMA 写入内存环形缓冲区(Ring Buffer),向 CPU 发送硬件中断
  2. 内核逐层剥壳(Decapsulation)
    • 内核协议栈读取 MAC 帧头,确认是发给本机的;
    • 剥去链路层头,交给 IP 模块;IP 模块校验目标 IP、确认协议为 TCP;
    • 剥去 IP 头,交给 TCP 模块;TCP 模块检查端口(443),进行序列号校验与 ACK 确认,组装乱序或分片的报文;
  3. 推入 Socket:TCP 模块将完整的解密数据流放入对应监听端口进程的 Socket 接收缓冲区,唤醒挂起在该 Socket 上的应用程序(如 Nginx、Node.js 或 Spring Boot)。
  4. 业务处理与 HTTP 响应
    • Web 服务器解析 HTTP GET 请求;
    • 执行业务逻辑(静态资源读取、反向代理、数据库查询或微服务 RPC);
    • 构建 HTTP 响应报文(包含状态码 200 OKContent-Type: text/html、HTML 正文字符串等);
    • 响应数据再次经过服务器操作系统的协议栈封包、网卡发送,沿原路网络返回给客户端。

第六幕:客户端接收与浏览器渲染 —— 从代码到像素

客户端网卡收到响应数据,内核协议栈逐层解包,浏览器拿到原始的 HTML 字节流。

现代浏览器的渲染引擎(如 Chromium 的 Blink / WebKit)开始启动 关键渲染路径(Critical Rendering Path)

HTML 字节流 ──→ Tokens ──→ DOM Tree ──┐
                                     ├──→ Render Tree ──→ Layout (排版布局) ──→ Paint (分层绘制) ──→ 屏幕像素呈现
CSS 字节流  ──→ Tokens ──→ CSSOM Tree ┘

1. 构建 DOM 树(Document Object Model)

  • 标记化与词法解析:将 HTML 字节流解码为字符,解析为标签 Token(如 <html>, <body>, <h1>);
  • 构建节点树:根据标签嵌套关系构建树状 DOM 结构。

2. 构建 CSSOM 树(CSS Object Model)

  • 遇到 <link rel="stylesheet"><style> 时,下载并解析 CSS 规则;
  • 继承与层叠计算每个节点的具体样式属性。

3. 生成渲染树(Render Tree)

  • 遍历 DOM 树中的所有可见节点(过滤掉 <head>display: none 的不可见节点);
  • 将 CSSOM 样式规则匹配到对应的 DOM 节点上,生成携带几何与视觉信息的渲染树。

4. 布局与排版(Layout / Reflow)

  • 从根节点开始递归计算每个元素在屏幕视口中的精确几何位置与尺寸(宽、高、X/Y 坐标)

5. 绘制与图层合成(Paint & Composite)

  • 绘制(Paint):将每个元素的边框、背景色、阴影、文字等转化为绘制指令列表;
  • 分层与栅格化(Rasterization):为了利用 GPU 加速,渲染引擎将页面拆分为多个图层(Layers),由合成器线程(Compositor Thread)调用 GPU 将矢量指令转换为屏幕位图(Bitmaps);
  • 显卡将帧缓冲区(Frame Buffer)中的像素信号输出给显示器刷新率(如 60Hz/120Hz),页面正式呈现!

总结:软硬件协作的壮丽闭环

从在键盘上敲下回车键,到最终屏幕亮起绚丽的网页,用一张表串联全链路核心角色与职责:

层级 / 实体核心角色关键动作与使命
应用层浏览器 & HTTP解析 URL、格式化 HTTP 请求报文、最终驱动渲染引擎绘制像素
基础服务DNS 系统根域名 → 顶级域 → 权威 DNS 分层迭代解析,将域名转为 IP 地址
传输层TCP / TLS三次握手建立可靠传输通道、滑动窗口流量控制、TLS 加密通信
网络层IP 协议注入源 IP 与目标 IP,负责全球网络跨网段逻辑寻址与路由决策
链路层ARP 与以太网ARP 广播解析下一跳网关 MAC 地址,封装以太网帧与 CRC 校验码
网卡 (NIC)物理网络接口DMA 传输、将数字二进制字节流转换为电信号 / 光信号 / 射频电波
交换机二层网络设备基于 MAC 地址自学习表,在局域网内实现点对点精准数据帧交换
路由器三层网络设备连接内外子网,执行 NAT 地址转换,查路由表将包投递至最优下一跳
服务端协议栈 & Web 服务网卡硬中断响应、协议栈解包重组、Nginx/应用服务处理并回包

这就是一次网络请求的完整旅程。正是这些分层解耦、各司其职的协议规范与硬件设备,构成了整个现代互联网大厦坚不可摧的基石。

Share:
Back to Blog

Related Posts

View All Posts »
AI 大模型 Ragent 项目:长会话 Token 爆炸?会话摘要压缩策略与水位线机制深度解析
阶段 1 进阶:摘要压缩算法

AI 大模型 Ragent 项目:长会话 Token 爆炸?会话摘要压缩策略与水位线机制深度解析

当多轮对话聊到 30 甚至 50 轮,滑动窗口滑走了开头的关键约束、全量保留又会挤爆 Token 上下文,RAG 系统该如何破局?深入剖析 Ragent 记忆系统中的增量摘要压缩算法、lastMessageId 水位线推进机制、攒批压缩优化(summaryBatchSize)、Prompt 绝对禁止记录答案的设计哲学以及 Redisson 分布式锁防重实践。

AI 大模型 Ragent 项目:会话记忆系统设计与多轮对话状态管理实践
阶段 1:会话记忆系统

AI 大模型 Ragent 项目:会话记忆系统设计与多轮对话状态管理实践

大语言模型 API 天然是无状态的,如何让每次独立的请求表现为连贯自然的连续对话?深入剖析 Ragent 问答流水线阶段一(loadMemory)背后的三层记忆架构、异步并发拉取与容错降级、滑动窗口规整(normalizeHistory)、loadAndAppend 时序避坑以及结构化 Prompt 上下文注入顺序。