“刚坐下电话就响了。‘全公司断网了’”大多数网络工程师对这句话都不会陌生。但如果你真的信了“全公司断网”提着电脑就往机房跑那你大概率会在现场发现所谓“全公司”其实只是行政部那台用了五年的老台式机而“断网”只是网页打不开微信还能正常收消息。断网排障这件事难的不是技术而是大多数人一听到“断网”两个字脑子里就开始背OSI七层模型从物理层一路查到应用层。等你查完老板已经在群里问了三遍“到底好了没有”。真正有经验的工程师接到报障时第一反应不是查而是问。先把“断网”这个词拆成“谁断、断成什么样、什么时候开始的”再决定手里拿哪把工具。这篇文章就把我这十几年处理断网故障的思路完整梳理一遍从接电话开始到定位根因每一步为什么这样做、遇到过什么样的坑全部说清楚。不管是刚入行的新人还是运维多年但总觉得排障没体系的同行应该都能从里面拿走点有用的东西。1. 先别碰键盘接到“断网”报障后的第一件事是分诊很多人觉得排障的第一步是打开命令行敲ping这是最大的误区。故障报修的人通常不会用专业词汇描述问题一句“断网了”背后的真实情况可能是广告弹窗关不掉以为中毒了、浏览器主页被改成导航站、Excel打不开只能重启、打印机没反应、甚至是单纯不想干活。你在电话里多花两分钟做分诊能省下后面至少半个小时的盲目尝试。1.1 三个分诊问题锁定排查方向我接起报障电话固定会问三句话哪些地方上不了网是一台电脑、一个办公室还是整栋楼都不行是完全不能上网还是某些网站打不开、某些应用能用是从什么时候开始的之前动过什么设备或者线路吗这三句话分别对应了故障的三条线索影响范围、故障表现、变更时间点。影响范围帮你判断故障点是在终端侧、接入层还是核心层故障表现帮你把问题定位到具体的协议栈层变更时间点则是最容易被忽略但最高效的线索——网络很少自己无缘无故出问题绝大多数断网都伴随着某种变更可能是昨天有人往机柜里插了一根线也可能是今天早上保洁阿姨踢掉了配线架上的跳线。举个例子如果报障的人说“只有财务室三台电脑上不了网其他办公室正常”那你基本可以排除核心交换机和出口线路的故障问题大概率出在财务室那面墙上的信息点、配线架或者接入交换机上。如果是“全公司都上不了网但手机连WiFi能上”那问题就集中在办公电脑到无线AP这段链路或者DNS解析上跟出口链路没关系。1.2 把“断网”翻译成“协议故障”分诊的实质是把模糊的自然语言翻译成网络术语。这一步做得越准后面的排查路径就越短。汇总多年经验办公室环境里最常见的“断网”其实只有这么几类完全断网开着微信但图片加载不出来网页打不开ping外网IP不通。通常是链路、IP地址或者路由的问题。只能上内网外网不通能访问公司服务器和共享文件夹但互联网打不开。问题出在出口防火墙、NAT或者运营商线路。网页打不开但应用正常微信、QQ、邮件客户端都正常只有浏览器不行。典型的DNS解析故障或者浏览器代理设置问题。时好时坏一会断一会好视频会议卡顿、游戏掉线、页面间歇性打不开。一般是链路不稳定、无线干扰或者设备性能瓶颈。某个特定网站/应用不能用其他都正常只有某一个服务访问不了。大概率是那个服务的服务器问题或者本地的hosts文件、DNS缓存出了问题。这一套分诊下来你手里大概有一张完整的故障地图了才开始决定要不要带电脑去现场、要带哪几个工具。盲目出发去机房敲命令跟医生不检查就让病人做手术没有区别。2. 物理链路永远是绕不开的第一关尽管现在大家都在谈SDN、谈云原生网络但只要数据还在铜缆和光纤里跑物理层故障就永远是断网排障的大头。你不信的话回想一下职业生涯里有多少次“神秘断网”最后的真相是某根跳线被老鼠咬断了或者某个水晶头的线序做错了一根。2.1 指示灯里藏着的半部排障史到了故障现场先别急着打开命令行。沿着链路走一遍把沿线设备的指示灯看一遍很多问题的答案就写在灯上。光猫/ONU设备的PON灯如果PON灯闪烁或者熄灭说明光信号有问题可能是光衰过大、光纤弯折或者运营商OLT端口故障。这种情况下你不需要去配VLAN报运营商来修就行。交换机端口指示灯端口灯不亮说明物理链路不通——网线断、水晶头接触不良、对端设备关机都有可能。端口灯黄绿交替闪说明有数据收发但如果有规律的快速闪烁往往意味着广播风暴或者环路。防火墙/路由器的WAN口灯WAN口灯不亮说明内网设备和出口设备之间的链路不通如果WAN口灯正常但拨号不上那是运营商线路认证的问题。有个细节值得一提现在的交换机端口灯默认状态下闪烁频率能直观反映流量大小。但如果你碰到思科的交换机默认状态灯可能是SPDSpeed而不是ACTActivity只能看出速率看不出流量。老工程师的习惯是进交换机敲一下show interface status看端口有没有Err-disabled状态——这个状态意味着交换机检测到环路、BPDU冲突或硬件故障自动把端口给弹下来了。物理层的问题光看灯是不够的该敲的命令还得敲。2.2 那些年踩过的“物理层隐形坑”物理层故障如果只是网线断了、红灯亮了倒还好办。真正折磨人的是那种“看起来全都正常、却怎么也不通”的隐形物理故障光模块或跳线光衰过大指示灯正常亮端口状态显示up但ping丢包严重测速惨不忍睹。这通常是因为光纤跳线被踩踏、折弯半径太小或者光模块的接收光功率低于-25dBm不同模块标准略有差异。处理方式是借一支光功率计测两端光衰或者直接换一根跳线、擦一下光纤接头再看。水晶头线序错误网线线序不对很多情况下链路还是能通的——百兆网络只用1、2、3、6四根线只要这四根顺序对就能用。但如果你搞成了千兆环境8根线只要错一根就会降级到百兆甚至不通。我遇到过一台总说要换新电脑的同事换了好几台都卡最后发现是墙里预埋的网线在接水晶头时只做了4根线被别人改成百兆了。配线架上的跳线接触不良机柜里的配线架用久了端口卡簧松动跳线插上去看着到位实际上没卡住。你在这头用测线仪打线链路是通的但手一碰就断。这种故障最难查因为它是间歇性的。排查方式是换一根新的机制跳线或者直接把配线架端口换了试试。物理层的排查原则就是用最简单的链路替换法。电脑直连光猫/交换机如果通了问题在自己这边如果还是不通问题在上游。一段一段替换验证总能找到元凶。3. 链路通了不代表就没问题VLAN、ARP与IP地址的连环套物理链路通了网线一插端口灯亮了——但电脑还是上不了网。这时候很多人开始摸不着头脑。别急第二层到第三层之间的坑往往比物理层更隐蔽。3.1 ARP网络世界最容易忽略的地基ARPAddress Resolution Protocol负责把IP地址解析成MAC地址。网络里每台设备要通信第一步就是通过ARP找到对方的MAC地址。这个协议太底层了底到很多排障手册都不提但它出问题时的现象却很极端IP能ping通自己但ping不通网关或者整个网段里只有某台电脑能上网。印象最深的一次排障某公司一个办公室有二十多台电脑突然集体掉线但其中一台老式打印机始终正常。查了一圈交换机、路由配置全都没问题最后在接入交换机上抓包才发现有人私自接了一个无线路由器AP的DHCP服务没关把整个办公室的IP地址都冲突了。那台打印机之所以正常是因为它的IP是手动设置的绕开了DHCP。这类问题的标准排查命令arp -a看网关MAC地址是否正常正常网关MAC应该是交换机或路由器的接口MAC而不是某台终端设备的MAC。如果网关MAC对应了一个不属于交换机端口的MAC地址那基本可以判定有人私接设备或者发生了ARP欺骗。3.2 IP地址冲突和DHCP黑洞办公室网络里终端IP地址冲突是仅次于DNS的“断网帮凶”。Windows系统在检测到IP冲突时会弹窗提示但大多数用户根本不看就点掉了。实际上客户端可能已经拿到了一个被占用的IP网络数据包会被发往一个“错误的门牌号”。排查IP冲突的方式有几种ping网关如果丢包严重或延迟极高先查ARP表看网关MAC是否“飘”了。在交换机上看对应VLAN的MAC地址表看看同一个IP对应了多少个不同的MAC同时出现多个就是冲突。直接抓DHCP的排错debug ip dhcp server packet思科或tcpdump port 67 or port 68Linux看DHCP请求和应答是否有异常。对中小型网络来说更省事的做法是在DHCP服务器上提前配置好地址保留把打印机、门禁控制器、无线AP这类设备设为静态绑定避免它们和DHCP地址池“狭路相逢”。3.3 VLAN配置明明在同一层楼却像在两个世界很多公司在部署网络时出于安全或隔离需要会把办公网、监控网、访客网划分成不同的VLAN。但如果接入交换机的Trunk口忘了放行某个VLAN或者PVID配置错了那种“只有某几个端口上不了网、其他端口正常”的问题就会出现。查这类问题的思路很清晰# 查看交换机上VLAN的情况 show vlan brief show interfaces trunk # 查看某个端口所属VLAN show interface gigabitethernet 0/1 switchport实际经验里最诡异的VLAN故障是“能ping通但无法通信”。比如两个VLAN之间配置了VLANIF接口、三层路由也通了从PC1能ping通VLAN 100的网关但访问VLAN 100里另一台服务器的具体服务就是超时。这种问题十有八九是VLAN 100服务器本身开了防火墙或者服务监听的IP不对不在VLAN配置本身。4. 路由器和防火墙内网通、外网挂的“中间地带”物理链路正常内网互相访问也正常但就是上不了互联网。这时候问题的焦点就落在了出口设备——路由器和防火墙上。这类设备是内外网的边界也是故障的高发区而且很多故障是“配置上看起来没问题实际上已经把路堵死了”。4.1 默认路由和NAT丢了任何一个都上不了网出口设备要能上网需要同时满足两个条件有到运营商下一跳的默认路由、有正确的NAT地址转换。这两样缺一不可。默认路由丢失下一跳运营商网关不可达或路由表里的默认路由被清掉了流量送不出去。排查命令以常见厂商为例display ip routing-table华为/H3C show ip route思科/Juniper重点看有没有0.0.0.0/0这一条路由以及它的下一跳是否可达。NAT没生效内网设备发出的源IP是私网地址比如192.168.1.100到了公网没有做地址转换运营商的路由器会把这种私网地址包直接丢到垃圾桶里。NAT问题是出口故障的重灾区常见配置错误是ACL访问控制列表里允许了流量但没匹配到对应的NAT条目或者NAT转换需要的路由缺失。光看配置有时候不直观直接在防火墙上抓包对比最准确。在华为设备上可以用display firewall session table看会话表有没有建立成功思科ASA可以用show xlate看地址转换条目。如果内网设备发出的包根本找不到对应的NAT转换记录那就是NAT配置的问题。4.2 出口带宽跑满一种伪装成“断网”的拥塞运营商线路一切正常、配置也没有问题但用户就是觉得“网很卡”网页转圈圈视频会议卡成PPT。这种情况下有可能是出口带宽被某个应用给吃满了。排查方式很简单登录路由器/防火墙看一眼实时流量华为设备display interface GigabitEthernet x/x/x查看接口的输入/输出速率思科设备show interface或show processes cpu history观察总出口流量更理想的是用NetFlow/sFlow把流量导出来用工具分析是哪个IP在狂下载、哪个应用占流量遇到过最典型的案例一家公司办公网络突然变得极卡视频会议全部瘫痪排查到最后发现是某个同事的电脑中了挖矿木马7×24小时在跑把50Mbps的出口带宽吃了一半。抓包定位到IP过去一看电脑CPU风扇在狂转硬盘掉了线才把问题解决。出口带宽满了的表现和真正的断网非常像所以一看到“全网卡成狗”尽量先看流量统计而不是怀疑运营商。5. 九成“网页打不开”的真相DNS解析故障认真说一句办公场景下“断网”的报障里至少一半以上的根因是DNS故障。这个结论听起来很夸张但确实是我这些年的体感物理层、链路层、网络层都通但用户打开浏览器输个域名页面就是出不来。原因在于DNS解析是整个互联网访问链条里最脆弱的一环。它把www.example.com这样的域名翻译成IP地址相当于通讯录里的“联系人姓名到电话号码”的映射。通讯录挂了你有一千个号码也打不出去。5.1 3分钟判断DNS有没有问题最简单的判断方法还是回到命令行# 先ping一个公网IP绕开DNS ping 223.5.5.5 # 如果IP能通再ping一个域名 ping www.baidu.com如果ping 223.5.5.5通但ping www.baidu.com解析失败提示找不到主机/Ping request could not find host那就基本锁定了DNS问题。用nslookup www.baidu.com可以进一步看到底是哪个DNS服务器在解析、解析出来的结果对不对。DNS故障常见的有几种表现DNS服务器地址配置错误或不可达终端上的DNS服务器指向了一个不存在的IP或者指向的DNS服务器挂了。DNS缓存中毒本地dns缓存里保留了错误的解析记录。Windows下用ipconfig /flushdns清掉。运营商DNS服务器故障这是最麻烦的一种因为用户侧改不了。这种情况应急处理是切换公共DNS比如223.5.5.5阿里DNS、119.29.29.29腾讯DNS或者8.8.8.8Google DNS访问速度看网络环境。hosts文件被篡改Windows的C:\Windows\System32\drivers\etc\hosts里被写入了错误的映射。之前有公司所有电脑都打不开某个网站一查hosts被人恶作剧加了一条记录指向127.0.0.1。5.2 一次真实事件全网网页打不开微信却好好的写到这里想起来一次特别典型的DNS故障处理过程。某天上午十点行政部打来电话说全公司都上不了网了。我第一反应是出口线路断了但看了一眼自己的电脑——微信正常收发消息腾讯系应用也能用。这就很有意思了。微信这类应用大多走IP直连或者自带长连接优化对DNS的依赖很弱。但只要浏览器加载页面每一步都要解析域名。所以“应用正常、网页打不开”几乎可以断定是DNS解析挂了。登录路由器查了一下上游运营商通告的DNS服务器202.96.128.86这只是个例子不要对号入座连续ping了十个包全部超时而路由器本地缓存里却留着旧的解析结果导致个别页面还能打开。处理方案也很简单把路由器的DNS改成223.5.5.5和119.29.29.29问题五分钟内全部恢复。从那之后我对所有客户网络的建议都是DNS服务器不要只依赖运营商给的默认值至少配置一个可用的公共DNS作为备选。这不是什么高深技术但在“网页打不开”的故障面前它比任何高端排障工具都管用。6. 手把手复盘三个真实的断网案例理论说了不少最后还是回到三个真实的故障处理现场。这三个案例涵盖了办公网络中最常见的几种断网场景把排查链路完整走一遍你以后遇到类似问题心里就有底了。6.1 案例一整个办公室只有一个人断网故障现象某办公室杂物间里的一张工位电脑开机后显示“网络连接已断开”连内网都无法访问。旁边同事的电脑都好好的。排查过程先电话分诊确认只有这个工位有问题。既然只有这一台大概率问题在从工位到接入交换机的链路上比如信息模块、网线、交换机端口。到现场把工位上的成品跳线换了一根故障依旧。用测线仪测了一下墙上的信息模块8根线全通。此时可以断定问题不在墙里面而在交换机端口那一侧。到机柜里找到对应接入交换机的端口发现端口指示灯不亮但用show interface status查看端口没有被shutdown状态是“notconnect”。换了交换机的另一个端口问题解决。经验总结信息模块和网线都没问题但交换机端口本身坏了这是唯一在墙内链路之外还得检查的点。端口指示灯不亮的时候先别急着换线试试交换机上换个端口往往立竿见影。6.2 案例二视频会议开着会画面一直转圈故障现象公司大会议室的多媒体终端视频会议连着连着画面就卡住声音断断续续但同一个网络环境下手机关WiFi刷视频都很流畅。排查过程分诊判断问题出在会议室那台设备或者它的专属链路上。有线连接确认一下网络插上网线后视频会议恢复正常。基本确定问题出在无线网络信号质量上。用WirelessMon或手机上的WiFi分析工具扫描了一下会议室所在频段的信道占用情况。发现会议室旁边多了不少蓝牙音箱、无线投屏设备2.4G频段的干扰非常严重。登录无线控制器把会议室的SSID从2.4G频段迁移到5G频段并选择了一个相对干净的信道比如149-165信道里的一个。再开视频会议测试全程没有卡顿。经验总结无线网络的故障排查先区分是“信号覆盖问题”还是“信道干扰问题”。距离不是唯一因素办公室环境里蓝牙、微波炉、相邻AP都会干扰2.4G频段。对于视频会议这类对稳定性和时延敏感的业务优先走5G频段或直接有力线。6.3 案例三全网不定时瘫痪持续了整整一周故障现象整个办公网络每过一两个小时就突然卡死所有上网设备几乎完全不可用持续几分钟后自行恢复。管理员排查了一整周没找到问题更换了核心交换机也无济于事。排查过程这种全网性故障先看核心交换机。通过SSH登录核心交换机发现CPU占用率持续在80%以上单播报文和广播报文统计异常高。在核心交换机上用display cpu-usage或者show process cpu看是哪个进程在消耗CPU重点怀疑是STP生成树协议进程和ARP进程占用过高。用display stp brief或者show spanning-tree summary查看生成树状态发现其中一个接口不停地在“Learning”→“Forwarding”之间反复切换。这是典型的网络环路数据帧在环里绕圈生成树协议一直在重新收敛。顺着那个接口查下去发现源头是一台办公室交换机被用户私自接到网络里一根网线在交换机上造成了环路。把那根网线拔掉全网瞬间恢复正常CPU占用率降到15%以下。经验总结网络环路是间歇性全网瘫痪的最常见原因。它的典型特征就是CPU飙升、STP反复收敛、网络时好时坏。排查思路要围绕生成树状态和端口流量特征展开别一上来就去怀疑出口线路或者防火墙。有条件的话建议在接入交换机上开启环路检测功能比如华为的loopback-detect或者思科的loopguard能在源头直接封禁异常端口不至于拖垮全网络。7. 写在最后断网排查不背步骤背思维如果只给你留下一样东西我希望是这套分诊、分层、分段的排查思维而不是某个具体命令或者操作步骤。网络是分层构建的排查也应该分层进行但分层不意味着从第一层开始一层层往下查——真正高效的工程师是先通过几个问题确定故障大致在哪一层然后直接跳到那一层附近开始排查。遇到断网故障我最后的建议就是这几点先分诊再动手。搞清楚影响范围确定是单点还是全网可以让你绕过至少一半的无效排查。顺藤摸瓜。拿一条网线从电脑端直连光猫/交换机逐步缩小范围终端、墙内链路、接入交换机、核心、出口一层一层往外甩。动手前先看日志和状态。CPU占用率、端口状态、路由表、NAT会话这些信息先拿一遍比你盲目更换设备有用一百倍。相信经验但也要敢于质疑基础设施。很多网管在遇到疑难杂症时最后都靠“接一根临时网线飞线过去”解决了问题。排查故障不要被办公室的物理布线限制住——先用一根明线验证链路是否正常再考虑是不是墙里的线出了问题。每次故障处理完写一份排查记录。记下现象、排查过程、根因、处理方式。下次同样的问题再出现你只需要翻一下记录十分钟就能解决。我这几年的排障效率有一半是这些记录堆出来的。断网不可怕可怕的是没有思路地乱试。下次报障电话再响起来的时候你心里应该已经有一条从分诊到定位的完整线路了。