温馨提示！由于新浪微博认证机制调整，您的新浪微博帐号绑定已过期，请重新绑定！&&|&&
LOFTER精选
网易考拉推荐
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
&组网说明：
为了实现容灾，组网图中的设备都是双机。网络设备型号：cisco 4506-E交换机、Radware 4016负载均衡器、Juniper SRX3400防火墙、H3C F5000防火墙。服务器代表服务器集群，每台服务器做双网卡绑定，每台服务器可以通过SW10-1--SW01与外部通讯，或者通过SW10-2---SW02--SW01与外部通讯，两台cisco4506启HSRP，HSRP的虚拟路由器是SW01-cisco4506e。
二、问题描述
巡检发现，两台cisco 4506-E交换机在忙时和闲时CPU占用率都是99%，但经过主用4506(SW01-cisco4506e)的网络流量大约1Gbps，网络流量不大，所以怀疑cisco 4506不正常，怀疑有网络问题。
三、正确的排查思路
1.查看cisco 4506 cpu占用率
show process cpu
2.查看哪些进程CPU占用率比较高
show process cpu 查看CPU占用率，查看每个进程的CPU占用率
show processes cpu sorted 查看每个进程的CPU利用率，并按照CPU利用率排序输出。
3、查看哪些进程CPU占用率超过基线值
show platform health
此命令会显示Cat4k Mgmt HiPri&and&Cat4k
Mgmt LoPri两个平台下的每个平台进程占用CPU的基线值和实际值，若实际值超过基线值，平台进程异常，再查平台进程的含义，即可知道是何种原因。
4.查看CPU数据包统计信息
show platform cpu packet statistics
通过此命令能查看到经过CPU处理的数据包的统计信息，一般能看到CPU队列异常。
5.查看经过CPU处理的数据包（查看哪些具体数据包导致CPU利用率异常）
个人认为对CPU做镜像并抓包、debug能快速定位原因，只是CPU占有率99%时，建议在业务闲时debug，以免4506宕机。
镜像CPU数据包，抓包分析经过CPU处理的数据包。
4506(config)#monitor session 1 source cpu
4506(config)#monitor session 1 destination interface gigabitEthernet 1/1
附：镜像CPU的某个队列的方法
Switch(config)#monitor
session 1 source cpu queue ?
& &1-32&&&&&&&&&& SPAN source CPU queue numbers
& acl&&&&&&&&&&&& Input and output ACL [13-20]
& adj-same-if&&&& Packets routed to the incoming interface
& all&&&&&&&&&&&& All queues [1-32]
& bridged&&&&&&&& L2/bridged packets [29-32]
& control-packet& Layer 2 Control Packets [5]
& mtu-exceeded&&& Output interface MTU exceeded [9]
& nfl&&&&&&&&&&&& Packets sent to CPU by netflow
(unused) [8]
& routed&&&&&&&&& L3/routed packets [21-28]
& rpf-failure&&&& Multicast RPF Failures [6]
& span&&&&&&&&&&& SPAN to CPU (unused) [11]
& unknown-sa&&&&& Packets with missing source address [10]
Switch(config)#monitor
session 1 source cpu queue all rx
Switch(config)#monitor
session 1 destination interface gigabitethernet 1/3
debug查看CPU处理的数据包。
#debug platform packet all receive buffer
#show &platform cpu packet buffered cisco官网 cisco4500 交换机CPU利用率高排查思路
四、实际排查过程
4.1 备用4506 CPU利用率高处理过程
根据朋友建议，查看cisco 4506和SW10交换机的日志。
查看两台cisco4506e日志：
show logging没发现异常。
查看所有SW10交换机日志：
show logging alarm发现MAC地址漂移。
SW10-Kyj4-7Solt#show logging& alarm
alarm 22789 level 6 occurred at 22:55:19 01/21/2003 UTC& sent by MCP %MAC%&
&&MAC 0019.C69A.D29C VLAN 30& From& Port gei_1/18 To& Port smartgroup1
alarm 22789 level 6 occurred at 22:55:19 01/21/2003 UTC& sent by MCP %MAC%&
&&MAC 0019.C69A.D29C VLAN 30& From& Port smartgroup1 To& Port gei_1/18
alarm 22789 level 6 occurred at 22:55:18 01/21/2003 UTC& sent by MCP %MAC%&
&&MAC 0019.C69A.D29C VLAN 30& From& Port gei_1/18 To& Port smartgroup1
An alarm 22789 level 6 occurred at 22:55:18
01/21/2003 UTC& sent by MCP %MAC%&
&&MAC 0019.C69A.D29C VLAN 30& From& Port smartgroup1 To& Port gei_1/18
从上面日志可以看出，MAC地址0019.C69A.D29C 在gei_1/18和smartgroup1（聚合链路口1）这两个端口漂移，即MAC地址漂移。
经进一步确认，MAC地址0019.C69A.D29C是10.197.151.73 这台linux服务器的。
查看10.197.151.73的双网卡绑定状态，如下图：
查看双网卡绑定状态，发现eth2/eth3两张网卡都是运行状态，MAC地址在这两个网卡上漂移，这说明双网卡绑定得有问题（正常绑定结果是一主一备），检查双网卡绑定配置并修改为正确配置，修改后，双网卡状态如下：
修改此服务器的双网卡配置并重启网络服务后，备用4506
CPU利用率立即由99%下降到13%，问题排除。
问题总结：MAC地址漂移，导致cisco4506交换机CPU占用率99%。
4.2 主用4506 &CPU利用率高处理过程
4.2.1查看所有服务器的双网卡绑定是否存在问题
鉴于4.1的故障原因（双网卡绑定不正确可能导致MAC地址漂移进一步导致cisco4506
CPU99%），逐一检查所有服务器的双网卡绑定是否存在问题，经确认，其它服务器双网卡绑定完全正确。
4.2.2.查看cisco 4506 cpu占用率
命令：show
process cpu
processes cpu
CPU utilization for five seconds: 97%/2%; one minute: 97%; five minutes: 87%
&PID Runtime(ms)&& Invoked&&&&&
uSecs&& 5Sec&& 1Min&&
5Min TTY Process
806901&&&&&&&&& 3& 0.00% &0.00%&
0.00%&& 0 Chunk Manager&&&
176328&&&&&&&& 12&
0.00%& 0.00%& 0.00%&&
0 Load Meter&&&&&&
&& 3&&&&&&&&&&
0&&&&&&&& 1&&&&&&&&& 0&
0.00%& 0.00%& 0.00%&&
0 CEF RP IPC Backg
后续输出省略。。。。。。
查看cisco4506 cpu利用率发现，cisco 4506(SW01) CPU占用率97%。
4.2.3查看cisco4506哪些进程CPU占用率比较高
命令：show process cpu
GZGY-PS-WAP-SW01#show processes cpu
CPU utilization for five seconds: 97%/2%;
one minute: 97%; five minutes: 84%
Runtime(ms)&& Invoked&&&&& uSecs&&
5Sec&& 1Min&& 5Min TTY Process
59&& 0676807&&&&&&& 704&
3.91%& 3.82%& 3.85%&&
0 Cat4k Mgmt HiPri
& 60& &&&&&& 856 &91.35% 91.48%
78.54%&& 0 Cat4k
Mgmt LoPri
发现Cat4k Mgmt LoPri进程CPU占用率非常高（91.48%），说明某些进程占用CPU时间超过了应分配的CPU时间。
Cat4k Mgmt HiPri和Cat4k Mgmt LoPri进程原理：
当某个进程占用CPU时间没有超过规定的CPU分配时间时，Cat4k Mgmt HiPri进程会接管这个进程；而当Cat4k平台上某项进程占用CPU超出了应分配的CPU时间时，Cat4k Mgmt LoPri进程会接管这项进程，使其他进程能够得到CPU时间。
4.2.4查看cisco4506哪些平台进程CPU占用率超过基线值
命令：show platform health
（此命令会显示Cat4k Mgmt HiPri&and&Cat4k
Mgmt LoPri两个平台下的每个平台进程占用CPU的基线值和实际值，若实际值超过基线值，平台进程异常，再查平台进程的含义，即可知道是何种原因）
使用此命令观察，在Cat4k Mgmt HiPri&and&Cat4k Mgmt LoPri平台下，平台的具体进程使用CPU的情况。每一个平台进程有一个CPU利用率目标值或者期望值。如果某一个平台进程CPU利用率在期望值内，CPU将以高优先级执行这个进程。如果某一个平台进程CPU利用率超过目标值，此平台进程将在低优先级下运行，且show process cpu将在Cat4k Mgmt LoPri平台下输出额外的CPU利用率。
show platform health
&&&&&&&&&&&&&&&&&&&& %CPU&& %CPU&&&
RunTimeMax&& Priority& Average %CPU&
&&&&&&&&&&&&&&&&&&&& Target Actual Target
Actual&& Fg&& Bg 5Sec Min Hour& CPU
其它进程省略。。。。。。
K5CpuMan Review&&&&&& 30.00&
93.64&&&& 30&&&& 15&
100& 500& 162 144&
其它进程省略。。。。。。
show platform health发现K5CpuMan Review进程基线值是30%，实际值是93.64%。查询cisco官网资料发现如下解释：
Review平台进程描述
The process that performs software packet forwarding. This
job also en-queues and extracts packets from CPU packet queues.If you see high CPU utilization due to this process, this
typically indicates that the high CPU is caused by traffic.
K5CpuMan Review进程处理软件转发数据包。。。。。。。如果你看到由于这个平台进程导致CPU利用率高，则表明CPU利用率高是流量引起的。
4.2.5.查看cisco4506 CPU数据包统计信息
show platform cpu packet statistics
通过此命令能查看到经过CPU处理的数据包的统计信息，一般能看到哪种队列的流量异常。
SW01#&&& show platform cpu packet statistics
RkiosSysPacketMan:
Packet allocation failures: 0
Packet Buffer(Software Common)
allocation failures: 0
Packet Buffer(Software ESMP)
allocation failures: 0
Packet Buffer(Software EOBC)
allocation failures: 0
Packet Buffer(Software
SupToSup) allocation failures: 0
IOS Packet Buffer Wrapper
allocation failures: 0
Packets Dropped In Processing
Total&&&&&&&&&&&&&&& 5 sec avg 1 min avg 5 min avg 1
-------------------- ---------
--------- --------- ----------
&&&&&&& &&&& 26818&&&&
29513&&&& 20215&&&&& 28026
Packets Dropped In Processing
by CPU event
Event&&&&&&&&&&&& Total&&&&&&&&&&&&&&& 5 sec avg 1 min avg 5 min avg 1
-----------------
-------------------- --------- --------- --------- ----------
Sa Miss&& &&&&&&&&&&&&&&&&&&&& 26818&&&&
20215 &&&&&28026
L3 Receive&&&&&&&&&&&&&&&&&&&&&&&&&& 1&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
Input Acl Fwd&&&&&&&&&&&&&&&&&&&&&&& 5&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
Sw Packet for Bridge&&&&&&&&&&&&&&&&&& 28&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
Packets Dropped In Processing
by Priority
Priority&&&&&&&&& Total&&&&&&&&&&&&&&& 5 sec avg 1 min avg 5 min avg 1
-----------------
-------------------- --------- --------- --------- ----------
Normal&&&&&&&&&&&&&&&&&&&&&&&&&&&&&& 6&&&&&&&& 0&&&&&&& &0&&&&&&&&
0&&&&&&&&& 0
Medium&&&&&&&&&&&&&&&&&&& &&&& 26818&&&&
29513&&&& 20215&&&&& 28026
Packets Dropped In Processing
Reason&&&&&&&&&&&& Total&&&&&&&&&&&&&&& 5 sec avg 1 min avg 5 min avg 1
------------------ --------------------
--------- --------- --------- ----------
STPDrop&&&&&&&&&&&&&&&&&&&&&&&&& 143016&&&&&&&& 0&&&&&&&& 0&&&&&&& 33&&&&&&&&
NoDstPorts&&&&&&&&&&&&&&&&&&&&&&&&&& 28&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
Tx Mode Drop&&&&&&&&&&&&&& &&& &26818&&&&
29510&&&& 20176&&&&& 28013
Total packet queues 64
Packets Received by Packet
Queue&&&&&&&&&&&&&&&&& Total&&&&&&&&&& 5 sec avg 1 min avg 5 min avg 1 hour
----------------------
--------------- --------- --------- --------- ----------
Input ACL fwd(snooping)&&&&&&&&&&& 1852&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
Host Learning&&&&&&&&&&&& &&&& 26382&&&&
29284&&&& 20023&&&&& 27558
L2 Control&&&&&&&&&&&&&&&&&& &&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
Ttl Expired&&&&&&&&&&&&&&&&& &&&&&&&& 1&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
Adj SameIf Fail&&&&&&&&&&&& &&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
L2 router to CPU, 7&&&&&&&&& &&&&&&&& 5&&&&&&&& 0&&&&&&&& 3&&&&&&&&&
L3 Glean, 7&&&&&&&&& &&&&&&&&&&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
L3 Fwd, 7&&&&&&&&&&&&&&&&& &&&&&&&& 5&&&&&&&& 2&&&&&&&& 4&&&&&&&&&
L3 Receive, 7&&&&&&&&&&&&&&&& &&&&&&&& 3&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
Packets Dropped by Packet
Queue&&&&&&&&&&&&&&&&& Total&&&&&&&&&& 5 sec avg 1 min avg 5 min avg 1 hour
----------------------
--------------- --------- --------- --------- ----------
Host Learning&&&&&&&&&&&&&& &&&&&&&& 0&&&&&&&& 0&&&&&&&& 6&&&&&&
L2 Control&&&&&&&&& &&&&&&&&&&&&&&&152&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
Ttl Expired&&&&&&&&&&&&&&&&&&&&&&& 209&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
Adj SameIf Fail&&&&&&&&&&&& &&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
L2 router to CPU, 7&&&&&&&&&&& 1067795&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
L3 Glean, 7&&&&&&&&&&&&&&&&&&&& 172609&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
L3 Fwd, 7&&&&&&&&&&&&&&&&&&&&& 1196132&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&&
GZGY-PS-WAP-SW01#
show platform health发现CPU队列（Packets Received by Packet Queue ）中Host Learning 队列数据异常。经查询cisco官网文档，Host Learning队列含义：为了建立L2(二层）转发表（即MAC地址表），将包含未知源MAC地址的数据帧被复制给CPU。这就说明cisco4506在不断地学习源MAC地址。
4.2.6查看经过CPU处理的数据包（查看哪些数据包导致CPU利用率异常）
个人认为抓包和debug能快速定位原因，只是CPU占有率99%时，建议在业务闲时debug，以免4506宕机。
镜像CPU的数据，抓包分析经过CPU处理的数据包。
4506(config)#monitor session 1 source cpu
4506(config)#monitor session 1 destination interface gigabitEthernet x/1
debug查看CPU处理的数据包。
#debug platform packet all receive buffer
#show &platform cpu packet buffered
方法1镜像CPU的数据并抓包，进行数据包分析&抓包分析结论
抓包分析发现，经过cisco 4506的数据包，绝大部分数据包特征如下：
目的地址都是10.197.151.20，源MAC：00:10：db:ff:10:01，目的MAC:00:00:5e:00:01:65
方法2 debug数据包分析
SW01#show platform cpu packet buffered
Total Received Packets Buffered: 1024
-------------------------------------
1048 days 6:53:31:968625 - RxVlan: 10, RxPort: Gi6/29
Priority: Medium, Tag: No Tag, Event: Sa Miss, Flags: 0x40, Size: 64
00:10:DB:FF:10:01 Dst 00:00:5E:00:01:65 Type/Len 0x0800
Ip: ver:IpVersion4 len:20 tos:0 totLen:40
id:39415 fragOffset:0 ttl:61 proto:tcp
src: 10.164.42.6 dst: 10.197.151.20 firstFragment lastFragment
Remaining data:
0xCB 0xF1 0x0& 0x50 0x11 0xCC 0xF& 0x4&
10: 0xA4 0xA3 0x50 0x10 0x18 0x15 0x39 0x21
0x0& 0xCD 0x55 0xA& 0x94 0xC4 0x24 0x27 0xDC
1048 days 6:53:31:968701 - RxVlan: 10, RxPort: Gi6/29
Priority: Medium, Tag: No Tag, Event: Sa Miss, Flags: 0x40, Size: 64
Eth: Src 00:10:DB:FF:10:01
Dst 00:00:5E:00:01:65 Type/Len 0x0800
Ip: ver:IpVersion4 len:20 tos:0 totLen:40
id:49510 fragOffset:0 ttl:62 proto:tcp
src: 10.227.52.190 dst: 10.197.151.20 firstFragment lastFragment
Remaining data:
0xC3 0x8F 0x0& 0x50 0x74 0x8& 0x7E 0x56 0x9F 0xF9
10: 0x98 0xB1 0x50 0x10 0x23 0xD7 0xBB 0x99
0x0& 0x99 0xEF 0xA& 0x93 0xC7 0xED 0x7C 0x11&
1048 days 6:53:31:969186 - RxVlan: 10, RxPort: Gi6/30
Priority: Medium, Tag: No Tag, Event: Sa
Miss, Flags: 0x40, Size: 583
00:10:DB:FF:10:01 Dst 00:00:5E:00:01:65 Type/Len 0x0800
Ip: ver:IpVersion4 len:20 tos:0 totLen:565
id:46322 fragOffset:0 ttl:61 proto:tcp
src: 10.164.182.134 dst: 10.197.151.20 firstFragment lastFragment
Remaining data:
0xCB 0xBE 0x0& 0x50 0xF5 0x2B 0xB1 0xBD
10: 0x55 0x13 0x50 0x18 0x35 0xE8 0x3E 0x2F
20: 0x6D 0x65 0x74 0x68 0x6F 0x64 0x3D 0x74
1048 days 6:53:31:969274 - RxVlan: 10, RxPort: Gi6/30
Priority: Medium, Tag: No Tag, Event: Sa
Miss, Flags: 0x40, Size: 78
00:10:DB:FF:10:01 Dst 00:00:5E:00:01:65 Type/Len 0x0800
Ip: ver:IpVersion4 len:20 tos:0 totLen:60
id:1323 fragOffset:0 ttl:62 proto:tcp
src: 10.231.255.126 dst: 10.197.151.20 firstFragment lastFragment
Remaining data:
0xDF 0xFC 0x0& 0x50 0xC3 0xA3 0x8B 0x7F
0x0& 0xA0 0x2& 0x6B 0x8&
0x73 0x46 0x0& 0x0&
0x4& 0x5& 0x5A 0x4&
0x2& 0x8& 0xA&
&后续输出省略。。。。。。
debug分析：
1、从源地址00:10:DB:FF:10:01到目的地址00:00:5E:00:01:65数据包，被gei_6/29和gei_6/30两个端口随机接收到。而cisco 4506的gei_6/29、gei_6/30 是SW01-cisco4506 到FW01-JuniperSRX3400的两条物理链路，且同属于vlan
2、在cisco 4506上查看00:10:DB:FF:10:01 MAC学习情况
1分钟之内反复执行show mac
address-table address 0010.dbff.1001命令，发现SRX3400的MAC(0010.dbff.1001)在gei6/30和gei6/29间反复切换，即MAC地址漂移。
mac address-table address 0010.dbff.1001
mac address&&&& type&&&&&&& protocols&&&&&&&&&&&&&& port
-------+---------------+--------+---------------------+--------------------
0010.dbff.1001&& dynamic ip&&&&&&&&&&&&&&&&&&& GigabitEthernet6/30&&
mac address-table address 0010.dbff.1001
mac address&&&& type&&&&&&& protocols&&&&&&&&&&&&&& port
-------+---------------+--------+---------------------+--------------------
0010.dbff.1001&& dynamic ip&&&&&&&&&&&&&&&&&&& GigabitEthernet6/30&&
mac address-table address 0010.dbff.1001
mac address&&&& type&&&&&&& protocols&&&&&&&&&&&&&& port
-------+---------------+--------+---------------------+--------------------
0010.dbff.1001&& dynamic ip&&&&&&&&&&&&&&&&&&& GigabitEthernet6/29&&
mac address-table address 0010.dbff.1001
mac address&&&& type&&&&&&& protocols&&&&&&&&&&&&&& port
-------+---------------+--------+---------------------+--------------------
0010.dbff.1001&& dynamic ip&&&&&&&&&&&&&&&&&&& GigabitEthernet6/30&&
3、检查cisco4506 gei6/29和gei6/30配置
cisco 4506 gei6/29和gei6/30配置：
GigabitEthernet6/29
&description #SRX_FE_3#
&switchport access vlan 10
GigabitEthernet6/30
&description #SRX_FE_4#
&switchport access vlan 10
备用cisco4506CPU利用率99%问题
根据debug信息、CPU抓包信息、MAC地址漂移现象和cisco 4506的gei_6/29、gei_6/30配置，确定要么是sw01-cisco
4506和FW01-JuniperSRX3400间存在网络环路，要么是MAC地址漂移导致导致cisco 4506交换机CPU利用率99%。经查看FW01-SRX3400配置，FW01-SRX3400上是三层接口且启用链路聚合，而cisco 4506的gei6/29和gei6/30端口没有启动链路聚合，所以cisco 4506交换机CPU利用率99%的问题原因是：cisco 4506不断地学习源MAC，导致CPU利用率高。
解决办法：
将gei6/29和gei6/30端口做链路聚合（链路捆绑），捆绑后cisco CPU利用率由99%下降到10%左右。
五、问题回顾
两台cisco 4506-E交换机CPU占有率99%，都是由于MAC地址漂移，导致数据帧被复制给CPU，导致CPU 占用率99%。那为什么cisco 4506交换机上有MAC地址漂移，为什么show logging日志中没有相关记录？
六、导致交换机CPU利用率高的可能原因
1、MAC地址漂移
2、启用生成树时，HSRP/VRRP的主用和生成树的主根不在同一台设备上，导致流量绕了一圈，导致CPU利用高
3、双网卡绑定异常
4、网络环路，导致广播风暴或者帧复制
5、策略路由
七、参考文章
1、 基于IOS平台的cisco4500 交换机 CPU利用率高案例分析
/c/en/us/support/docs/switches/catalyst-4000-series-switches/65591-cat4500-high-cpu.html
此文章详细讲解了cisco IOS平台交换机CPU利用率高问题排查思路、CPU架构原理、CPU队列原理，强烈建议根据此文章思路排查cisco 4500系列交换机CPU利用率高问题。
2、VDI核心交换机CPU利用率高分析报告
.cn/s/blog_4ca83f.html
3、百度文库cisco_4500__high_CPU
4、Cisco4506R_CPU过高排错.pdf，
作者： Winford，文章来源：百度文库
阅读(13878)|
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
历史上的今天
在LOFTER的更多文章
loftPermalink:'',
id:'fks_',
blogTitle:'cisco4506e交换机CPU占用率高分析过程
(cisco4500交换机CPU高解决方法）',
blogAbstract:'作者：roy\n\n一、组网图&组网说明：\n\n为了实现容灾，组网图中的设备都是双机。网络设备型号：cisco 4506-E交换机、Radware 4016负载均衡器、Juniper SRX3400防火墙、',
blogTag:'cisco4500cpu占用率高,cisco交换机cpu高,交换机cpu高,cisco4500cpu利用率高,cpu利用率高',
blogUrl:'blog/static/4',
isPublished:1,
istop:false,
modifyTime:8,
publishTime:4,
permalink:'blog/static/4',
commentCount:0,
mainCommentCount:0,
recommendCount:4,
bsrk:-100,
publisherId:0,
recomBlogHome:false,
currentRecomBlog:false,
attachmentsFileIds:[],
groupInfo:{},
friendstatus:'none',
followstatus:'unFollow',
pubSucc:'',
visitorProvince:'',
visitorCity:'',
visitorNewUser:false,
postAddInfo:{},
mset:'000',
remindgoodnightblog:false,
isBlackVisitor:false,
isShowYodaoAd:false,
hostIntro:'',
hmcon:'0',
selfRecomBlogCount:'0',
lofter_single:''
{list a as x}
{if x.moveFrom=='wap'}
{elseif x.moveFrom=='iphone'}
{elseif x.moveFrom=='android'}
{elseif x.moveFrom=='mobile'}
${a.selfIntro|escape}{if great260}${suplement}{/if}
{list a as x}
推荐过这篇日志的人：
{list a as x}
{if !!b&&b.length>0}
他们还推荐了：
{list b as y}
转载记录：
{list d as x}
{list a as x}
{list a as x}
{list a as x}
{list a as x}
{if x_index>4}{break}{/if}
${fn2(x.publishTime,'yyyy-MM-dd HH:mm:ss')}
{list a as x}
{if !!(blogDetail.preBlogPermalink)}
{if !!(blogDetail.nextBlogPermalink)}
{list a as x}
{if defined('newslist')&&newslist.length>0}
{list newslist as x}
{if x_index>7}{break}{/if}
{list a as x}
{var first_option =}
{list x.voteDetailList as voteToOption}
{if voteToOption==1}
{if first_option==false},{/if}&&“${b[voteToOption_index]}”&&
{if (x.role!="-1") },“我是${c[x.role]}”&&{/if}
&&&&&&&&${fn1(x.voteTime)}
{if x.userName==''}{/if}
网易公司版权所有&&
{list x.l as y}
{if defined('wl')}
{list wl as x}{/list}记一次处理4506高CPU利用率排查
客户反映，一个网段磁带备份服务器每天在半夜的时候会自动从令一个网段服务器备份数据，在备份时候CPU利用率有时候会高达90%，按理说，普通的数据包转发，是通过引擎的硬件转发，不会采用CPU的软件转发，不至于到这么高的CPU使用率，关于哪些进程会调用到CPU使用率，cisco官网给出了说明：
The Catalyst 4500 CPU
performs these functions:
Manages configured software
protocols, for example:
Spanning Tree Protocol
Routing protocol
Cisco Discovery Protocol
Port Aggregation Protocol
VLAN Trunk Protocol
Dynamic Trunking Protocol
Programs configuration/dynamic
entries to the hardware ASICs, for example:
Access control lists
CEF entries
Internally manages various
components, for example:
Power over Ethernet (PoE) line
Power supplies
Manages access to the switch,
for example:
Simple Network Management
Protocol (SNMP)
Forwards packets via the
software path, for example:
Internetwork Packet Exchange
(IPX)-routed packets, which are only supported in the software
Maximum transmission unit (MTU)
fragmentation
这些是需要调用到CPU资源的，接下来目标是找到到底哪个进程消耗了这么多的CPU资源，show proc cpu，找到哪一项占用CPU较高：
show proc cpu
CPU utilization for five seconds: 99%/0%; one minute: 99%; five
minutes: 99%
&18&&0.00%&&0.00%&&0.00%&
&0 Net Background&
&&&2858508&
&&&324&&4.63%&&3.81%&&3.72%&
&0 Cat4k Mgmt HiPri
92.18% 92.23%& &0 Cat4k Mgmt
找到这Cat4k Mgmt HiPri和Cat4k Mgmt LoPri占用了很高的CPU进程。关于Cat4k Mgmt HiPri和Cat4k Mgmt LoPri两个进程的原理。网上有很多的说明。
K2CpuMan&Review&&&&&&&30.00&&60.56&&&&&30&&&&&15&&100&&500&&115&104&&&14&&15:57
K2AccelPacketMan:&Tx&&10.00&&49.86&&&&&20&&&&&&0&&100&&500&&&87&&76&&&10&&11:18
找到是和K2AccelPacketMan占用了很大的CPU使用率。K2CpuMan&Review意为软件转发，即转发过程需要调用cpu。
关于show&platform&health的输出说明，cisco官网上也有很详细的说明：
现在基本定位是某些数据包未采用引擎的硬件转发，而是采用了CPU的软件转发，网上有些说法是占用过多有可能为蠕虫病毒作怪，但是这里结合客户情况，应该不是病毒的原因，是备份数据时导致的，那么，为什么单单备份数据会导致这么高的CPU利用率呢。
Packets Received by Packet Queue
Queue&&&&&&&&&&&&&&&&& Total&&&&&&&&&& 5 sec avg 1 min avg 5 min avg 1 hour avg
---------------------- --------------- --------- --------- --------- ----------
Esmp&&&&&&&&& &&&&&&&&&&&&&&&&&&&&&& 37&&&&&&& 30&&&&&&& 26&&&&&&&& 18
L2/L3Control&&&&&&&&&&&&&&&& &&&&&&& 18&&&&&&& 11&&&&&&& 10&&&&&&&&& 1
Host Learning&&&&&&&&&&&&&&&&& 1315508&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
L3 Fwd Low&&&&&&&&&&&&&&&&&&& &&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
L2 Fwd Low&&&&&&&&&&&&&&&&&&& &&&&&&&& 5&&&&&&&& 2&&&&&&&& 3&&&&&&&&& 0
L3 Rx Low&&&&&&&&&&&&&&&&&&&&& 1436214&&&&&&&& 2&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
&&&&&&&&&&& &&&&&& 125&&&&&& 519&&&&&& 520&&&&&&& 390
ACL sw processing&&&&&&&&&&&&&&&&&&& 7&&&&&&&& 0&&&&&&&& 0&&&&&&&& 0&&&&&&&&& 0
看到，ACL log, unreach有大量需要CPU处理的包，查找cisco文档，关于各个进程都有详细说明，如下：
ACL log, unreach对照图表
发现应该是有很多数据包需要匹配到ACL，这会调用到CPU的资源，建议优化ACL，终于找到了问题所在。通过问题，又学到了些知识。总结一下，很多CPU利用率过高问题，应该都能通过以上步骤查找出原因。又学了点东西，总结了经验。
platform&health和show&platform&cpu&packet&statistics
all的输出详解，见
/en/US/products/hw/switches/ps663/products_tech_notecef15.shtml
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。}