Carrier grade ethernet

1. 電信網路的難題
• 規格不一(T-Carrier/E-Carrier/SDH...)
• 多種協定架構(ATM/Frame Relay/ISDN...)
• 管理困難
• 查修及維護困難度高，需大量人力
• 需要同步信號
2

2. PSTN Topology
User IP IP
IP Phone IP Phone
Service
Routing
PSTN
3

3. PSTN
Protocols Stack
IPTV Network VoIP
Services Services Services
IP
A/V
VPN
Services
Private
Net
Internet Dialup
Lease
DSL POTS
Line
ATM TDM
SDH
Wireless
Optical Cabling Coxal Cabling
Cabling
4

4. SDH Add Drop Mux
5

5. SONET/SDH
ADM-MSPP
6

6. T1 to E1 Translate
7

7. Carrier Frame Size
Frame Size Payload Speed Ratio
T1 193 1536 1544 99.48%
T2 1176 6144 6312 97.34%
T3 4760 43008 44736 96.14%
E1 240 1920 2048 93.75%
E2 848 7680 8448 90.91%
E3 1536 30720 34368 89.39%
OC1/STM0 6480 49536000 51840000 95.56%
OC3/STM1 19440 149760000 155520000 96.30%
OC12/STM4 77760 600768000 622080000 96.57%
OC48/STM16 311040 2404800000 2488320000 96.64%
OC192/STM64 1244160 9620928000 9953280000 96.66%
OC768/STM256 4976640 38485440000 39813120000 96.67%
8

8. Virtual Line
9

9. Ethernet Frame Format
1518 bytes
S
Premble F
D
DA SA Length Payload FCS
7 byte 6 byte 6 byte 2 byte 46-1500 byte 4 byte
1518 bytes
Premble DA SA Type Payload FCS Ethernet II Frame
8 byte 6 byte 6 byte 2 byte 46-1500 byte 4 byte
1522 bytes
C
Premble DA SA 0x8100 CoS F VID Type Payload FCS
I
8 byte 6 byte 6 byte 2 byte 2 byte 2 byte 46-1500 byte 4 byte
1526 bytes
S C
C C
Premble DA SA 0x88A8 PCP/DE 0x8100 CoS
F Type Payload FCS
VID I VID
8 byte 6 byte 6 byte 2 byte 2 byte 2 byte 2 byte 2 byte 46-1500 byte 4 byte
1536 bytes
C B S
C C C
Premble B-DA B-SA 0x88A8 B
CoS
F 0x88E7 CoS
F I-SID DA SA 0x8100 C
CoS
F Type Payload FCS
I VID I I VID
8 byte 6 byte 6 byte 2 byte 2 byte 2 byte 2 byte 3 byte 6 byte 6 byte 2 byte 2 byte 2 byte 46-1500 byte 4 byte
10

10. Ethernet Frame
Evolution
Payload Payload
Payload
C-VID C-VID
Payload
VID S-VID S-VID
DA DA DA DA
SA SA SA SA
I-SID
802.3 802.1Q 802.1ad
Virtual LAN Provider bridges B-VID
B-DA
SA: Source MAC address
DA: Destination MAC address
VID: VLAN ID B-SA
C-VID: Customer VID
S-VID: Service VID
I-SID: Service ID
802.1ah
B-VID: Backbone VID
B-DA: Backbone DA Provider backbone bridges
B-SA: Backbone SA
11

11. Frame Semantic
• VLAN Cross Connect identifier has local port scope
• Frame format as defined in IEEE 802.1Q
• VLAN Cross Connect tagged frame allows up to 4K VLANs per port
VXC-TAG
Destination MAC Source MAC TPID TCI Ether Type / Len Data FCS
C
12-bit VLAN Cross Connect ID
PCP F VXC ID
up to 4K VLANs per port
I
12

12. Service Model
Destination MAC Source MAC C-tag Ether Type / Len Data FCS
Destination MAC Source MAC S-tag C-tag Ether Type / Len Data FCS
• At the boundary of the VLAN-XC domain, the VLAN ID of the outer tag (C-tag or S-Tag) can be used
to associate the frame with a particular VLAN-XC connection.
• If required, the outer tag (C-tag or S-tag) is preserved and transparently transported within the
VLAN-XC domain
13

13. Frame Semantic
• Extended VLAN Cross Connect
• Frame Format as defined in IEEE 802.1ad
• VLAN Cross Connect tagged frame allows up to 16M VLANs per port
EVXC-TAG
Destination MAC Source MAC TPID TCI TPID TCI Ether Type / Len Data FCS
C C
PCP F VLAN ID PCP F VLAN ID
I I
24-bit VLAN Cross Connect ID
EVXC ID
up to 16M VLANs per Port
14

14. VLAN Cross Connect with CE-VLAN Preservation Example
VLAN Cross Connect Connection
PE-Node P-Node P-Node PE-Node
L2 L2 L2 L2 L2
Frame Frame Frame Frame Frame
Port 3 Port 6 Port 2 Port 8 Port 4 Port 12 Port 6 Port 9
Destination MAC Destination MAC Destination MAC Destination MAC Destination MAC
Source MAC Source MAC Source MAC Source MAC Source MAC
CE-VLAN VXC=1024 VXC=236 VXC=2636 CE-VLAN
CE-VLAN CE-VLAN CE-VLAN
15

15. Extended VLAN Cross Connect Example
VLAN Cross Connect Connection
PE-Node P-Node P-Node PE-Node
L2 L2 L2 L2 L2
Frame Frame Frame Frame Frame
Port 3 Port 6 Port 2 Port 8 Port 4 Port 12 Port 6 Port 9
Destination MAC Destination MAC Destination MAC Destination MAC Destination MAC
Source MAC Source MAC Source MAC Source MAC Source MAC
CE-VLAN CE-VLAN
EVXC=12045 EVXC=645 VXC=15320
CE-VLAN CE-VLAN CE-VLAN
16

16. Scalability
EVXC EVXC
MAC
Tag Tag
EVXC EVXC
MAC
Tag Tag
Level n+1
EVXC
EVXC MAC
MAC Tag
Tag
EVXC
EVXC MAC
MAC Tag
Tag
Level n Level n
• VLAN Cross Connect can be naturally extended to work with hierarchical domains using tunneling
• Uses standard VLAN stacking
17

17. Ethernet Jumbo Frame
一般的 Ethernet Frame Size 是以資料長度 1500 bytes 加上 18 bytes
的表頭所組成的。不論是 10Mbps 或是 10Gbps 都因為相容需要，
而使用相同的 MTU。會選擇使用 1500bytes 的長度是因為早期的
10Mbps 的 Ethernet 使用 CSMA/CD 及同軸電纜，傳輸錯誤率並不
低，若傳輸有錯誤發生時，所需重送的資料量就比較大，而且大的
Frame Size 代表傳送及接收時，都需要大量的記憶體作為 Buffer。
但以今日的記憶體及處理器，相對網路傳輸速度需求而言，是較低
的價格，而且利用光纖傳輸的品質，比銅纜好很多，所以將 Frame
Size 放大是可以預見的。在 Internet 2 (I2) 的骨幹網路上就已經測
試使用 4KByte和9KByte 的Jumbo Frame 多年。
而且其他非Ethernet的協定也都使用較大的Frame Size，若Ethernet
也使用較大的Frame Size可以減少封包的切割，並可加快傳輸速
度。
18

18. Standard Frame Size
Media Type Speed Frame MTU Maximum Frame Length
Ethernet 10 Mbps 1500 1518
802.3 10 Mbps 1518 1536
802.3u 100 Mbps 1518 1536
802.3z/ab 1 Gbps 1518 1536
802.3ae/an 10 Gbps 1518 1536
802.3ba 100 Gbps 1518? 1536?
802.5 4 Mbps 4528 4550
802.5 16 Mbps 18173 18200
802.5 100 Mbps 18173 18200
802.11g 54 Mbps 2312 2346
FDDI 100 Mbps 4352 4470
Fiber Channel 2 Gbps 65280 65280
POS/OC48 2.5 Gbps 9180 9180
ATM/AAL5 9180 9180
19

19. Jumbo Frame Benefit
• Lower Overhead of Packets
• High Utilization of Connection
• High Transmission Rate
• Low CPU Utilization
• Improved Performance of Transmission
20

20. Jumbo Frame
Requirement
• Low Transport Error Rates
• High Speed Connection
• Hardware Buffer Size Limitation
• Long Size of Packet Aware
21

21. Jumbo Frame Problem
• Conjunction occur problem
• Short Size Packets
• Transmission Error problem
• Difficult to QoS
• Large Hardware Buffer
• Longer Delay
22

22. Ethernet Jumbo Frame
FrameSize (in bit)
=IFG+SFD+DMAC+SMAC+Q+Q+Length+Payload+FCS
=(96/8)+8+6+6+4+4+2+Payload+4
=46+Payload
=368+(Payload*8)
1.5K Frame = 1500 * 8 + 368 = 12368 bit
4K Frame = 4000 * 8 = 32000 +368 bit
9K Frame = 9000 * 8 = 72000 +368 bit
16K Frame = 16000 * 8 = 128000 +368 bit
32K Frame = 32000 * 8 = 256000 +368 bit
64K Frame = 64000 * 8 = 512000 +368 bit
23

23. Frame Speed
Frame Size Ratio 10Mb 100Mb 1Gb 10Gb 100Gb
Frame/Sec Throughput Frame/Sec Throughput Frame/Sec Throughput Frame/Sec Throughput Frame/Sec Throughput
0.046K 736 50.00% 13587 5000000 135870 50000000 1358696 500000000 13586957 5000000000 135869565 50000000000
12368 97.02% 809 9702458 8085 97024580 80854 970245796 9702457956 97024579560
1.5K 808538 8085382
4K 32368 98.86% 309 9886307 3089 98863075 30895 988630746 308947 9886307464 3089471 98863074642
9K 72368 99.49% 138 9949149 1382 99491488 13818 994914880 138183 9949148795 1381826 99491487950
16K 128368 99.71% 78 9971332 779 99713324 7790 997133242 77901 9971332419 779010 99713324193
32K 256368 99.86% 39 9985646 390 99856456 3901 998564563 39006 9985645634 390064 99856456344
512368 99.93% 20 9992818 195 99928177 1952 999281766 9992817662 99928176623
64K 19517 195172
24

24. 因為現在的 CPU大都使用中斷方式，處理因正常處理程序執行之外發生的事
件，利用中斷可以有效的處理在相同的時間，發生事件而引發需執行的不同
程序。假設網路處理單元需要 1000 個 CPU clock cycle 處理一個中斷服務，而
中斷可以占用所有計算資源的一半。
當10Mb ethernet 使用最大為1500 byte 的 Frame size，最多產生每秒 810 個中
斷，所以至少需要的處理速度為 1.6MHz。
810x1000x2=1620000=1.6MHz
而以10Gb Ethernet 而言，使用 1500byte Frame 就需要 1.6GHz。
808538x1000x2= 1617076000=1.6GHz.
若是使用 64Kbyte Frame 的話卻只需要 39MHz。
19517x1000x2=39034000Hz=39MHz.
若是 100Gb ethernet 使用 1500byte Frame 的話需要 16GHz。
8085382x1000x2=16170764000=16GHz.
但換成 64Kbyte Frame 只需要 390MHz。
195172x1000x2=390344000=390.34MHz
這樣使得使用較低階的 CPU 傳送全速 100Gb 的資料成為可能。
25

25. 但是為何 Jumbo Frame 沒有全面取代原本的1500byte 的
Ethernet frame size ?
原因除了要向前版相容，以免因換用 Jumbo Frame 而需要將
全部的網路設備更換。還有就是因為換了較大的 Frame Size
而造成 Buffer 變小，而有可能原本更換為 Jumbo Frame 是要
加快傳輸速度，結果可能因為 Buffer 變小而反而變慢。
但為何 Line Speed 的 Switch 需要使用到 Buffer ?
事實上因為在 Switch 時會需要查 Forwarding Table 及對 Frame
作一些錯誤防止的處理，所以利用內部的 Buffer 先將資料暫
存，等到檢查無誤之後，再傳送。或者是因為 QoS 的考慮，
而需要將具有高優先的資料先行傳送，而低優先的資料，就
只有先暫存在 Buffer 中了。
26

26. 例如原本使用 1500byte 時，網路設備的 Buffer 最多可以暫
存256個 Frame 的資料。 1500x256=384000=384KByte ，而
以一部 24 port 的 Lan switch 來說也只要
384x24=9216=9.216MByte 的空間就可以了，換成每片
4Mbit 的晶片，三片就可以工作得很好。這樣的空間可以
處理10Mbit Ethernet大約一秒的 delay。但是換成 4K Jumbo
Frame 時就只有 384000/4000=96個 Frame，而換成 9K
Frame 只有 384000/9000=42個Frame，而 16K Frame 只有
384000/16000=24個 Frame。
以原本的設計，因 QoS 設計，區分為 4 個等級時，每個
Queue 還可以放 256/4=64 個 Frame ，這樣子在 QoS 的調
整上還足以應付需求。 若為 9K Frame 時，每個 Queue 只
可以放 10 個 Frame 的資料，而 16K Frame 更只有24/4＝6
個，這樣 Buffer 很容易就會滿了，而發生資料遺失。所以
要使用 Jumbo Frame 時，在設計 QoS 時需要注意到這些細
節作調整。
27

27. Line Protection
28

28. STP Multiple Path
Protection
29

29. Ring Protection
30

30. RPR Station Structure
31

31. RPR Architecture
32

32. RPR Operation
Failure Bandwidth Allocation
33

33. ITU-T G.8032 Topology
34

34. Line Protection
Summary
反應時間 頻寬效率 架構 硬體需求
STP ＞50ms 一般 Loop None
RPR <50ms 高 Ring Need
ERPS <50ms 一般 Loop None
35

35. OAM Standards
• IEEE standards 802.3ah EFM OAM for
access link
• IEEE standards 802.1ag CFM - Connectivity
Fault Management on link layer
• ITU Y.1730 / Y1731 Ethernet OAM
• MPLS OAM
• MEF-16 OAM
36

36. OAM Protocol Matrix
Fault Fault Fault Fault Repair
Fault Repair
Detection Notification Verification Isolation Verification
802.3ah 802.3ah 802.3ah
Link EFM OAM
SNMP
EFM OAM
RSTP
EFM OAM
802.1ag
IEEE 802.1ag CFM / ITU-T Y.1731 MSTP
Y.1731
Service
Transport
MPLS VCCD/BFD MSTP LSP Ping
Service
Level MEF Service OAM MEF
Agreement
37

37. OAM in networks
Service Provider
CE U-PE U-PE CE
Customer Access Core Access Customer
End to End OAM
802.3ah 802.1ag 802.3ah
802.1ag 802.1ag 802.1ag
Operator Operator Operator
Domain Domain Domain
38

38. IEEE 802.3ah OAM
• Define in IEEE 802.3ah Ethernet First Mile
section 57.
• Use MAC sublayer multicast slow protocol
• Monitor link operation
• Remote fault indication
• Remote loopback control
39

39. OAM functions
• Auto discovery
• Unidirectional fault signaling
• Remote loopback test
• Link monitoring
• Critical Events
• Layer 2 variable retrieval
• Organization specific extensions
40

40. OAM Sublayer Block
OAM CTRL OAM PDU
Request Request
MAC Data request MAC Data Indication
OAM CTRL OAM PDU
Indication Indication
Control
CTRL OAM request CTRL OAM Indication
OAM request
Loopback Frame
Multiplexer Parser
MAC Data request MAC Data Indication
OAM Sublayer block diagrom
41

41. OAM Remote
Loopback
OAM MAC MAC OAM
Client Client Client Client
OAM OAM
MAC Control MAC Control
MAC MAC
Physical Physical
Local Remote
DTE DTE
Medium
OAM Remote Loopback
42

42. IEEE 802.1ag CFM
• Continuity Check packet type
• Layer 2 Ping packet type
• Layer 2 Trace Route packet type
• Per services fault isolation with VLAN
• Uses domains to contain OAM flows and
bound OAM responsibilities
43

43. ITU-T Y.1731
• Alarm Indication Signal (Eth-AIS)
• Remote Defect Indication (Eth-RDI)
• Locked Signal (Eth-LCK)
• Test Signal (Eth-TEST)
• Performance Monitoring (Eth-PM)
• Frame Loss Measurement (Eth-LM)
• Frame Delay Measurement (Eth-DM)
44

44. MPLS OAM
• Label Switched Path (LSP) Ping
• Label Switched Path (LSP) Traceroute
• Virtual Circuit Connection Verification
(VCCV)
• Bi-directional Forwarding Detection (BFD)
• Fast Re-Route
45

45. MFE OAM
• Point to point Ethernet Virtual Circuit
(EVC) Performance Monitoring (PM)
• Point to multi-point EVC PM
• Multi-point to multi-point EVC PM
• EVC Fault management
46

46. PWE3 Reference
Model
Pseudo Wire
PSN Tunnel
Logical Link
Physical Link Physical Link
PW1
CE1 Attachment Circuit PE1 PE2 Attachment Circuit CE2
PW2
Customer Edge 1 Customer Edge 2
Provider Edge 1 Provider Edge 2
Reference Clock
Emulated Service
PWE3 reference model
47

47. Protocol Stack
Reference Model
Emulated Service Emulated Service
Emulated Service
TDM/ATM/FR/Ethernet TDM/ATM/FR/Ethernet
Payload Payload
Pseudo Wire
Encapsulation Encapsulation
PW Demultiplexer PW Demultiplexer
PSN Tunnel PSN Tunnel
PSN Tunnel
PSN PSN
Physical Layers Physical Layers
PSN
PWE3 Protocol Stack Reference Model
48

48. TDMoIP for UDP/IP
IP Header
IP Version IP TOS Total Length
Length
Identification Flags Fragment Offset
Time to Live Protocol IP Header Checksum
Source IP address
Destination Ip address
Source Port Number Destination Port Number
UDP Length UDP Checksum
RTV P X CC M PT RTP Sequence Number
Timestamp
SSRC Identifier
RES L R M RES Length Sequence Number
Adapted Payload
RFC-5087
TDMoIP Packet format for UDP/IP
49

49. NS-2
Simulation
50

50. Simulation Parameters
• 1.5/4/9/16Kbps Frame Size
• 10/100/1000/10000 Packets Queue Size
• 10Mbps for 64Kbps DS0
• 100Mbps for 1.544/2.048Mbps T1/E1
• 1Gbps for 44.736/34.68Mbps T3/E3
• 10Gbps for 155.52Mbps STM1
• 80% Bandwidth
51

51. Sim Throughput
52

52. 53

53. 54

54. 55

55. 56

56. 57

57. 58

58. Sim Delay
59

59. 60

60. 61

61. 62

62. 63

63. 64

64. 65

65. Sim Loss
66

66. 67

67. 68

68. 69

69. 70

70. 71

71. 72

72. Simulation Result
Connections 80% DS0 in Structure DS0 Performance
DS0 125 10Mbps 125 Only
125 100%
T1/E1 51/39 100Mbp 1224/1170 1250 97.92%/93.6%
T3/E3 17/23 s
1Gbps 11424/11040 12500 91.4%/88.32%
STM1 51 10Gbps 102816 125000 82.26%
各項測試表現以1000<Queue Size <10000 為最佳
10Gbps Ethernet以80%頻寬傳輸125000 DS0，若是附加到STM1 Frame則只有102816
DS0，佔82.26%，而和總頻寬10Gbps相比為62.8％。
這對9.95328Gbps的STM64的96.66%是較差，但是若將價格及管理花費，還有維護
的方便等一起加進來考量，就不算太差。
73

73. Conclusion
74

74. PSTN v.s. Carrier Grade Ethernet
75

75. Next Generation
PSTN Topology
User
POTS Phone POTS Phone
Service
Routing
Carrier Grade Ethernet
76

76. Carrier-Grade Ethernet
77

77. 使用乙太網路作為基
礎傳輸的好處
• 傳輸速度已達10Gbps，但價格卻是逐年下降。
• 傳輸距離可達數百公里。
• 可減化傳輸協定的層級。
• 可利用光纖Ethernet傳輸，錯誤率低，較銅線可
靠穩定。
78

78. 使用乙太網路作為基
礎傳輸的好處
• 擴充性高
• 維護非常簡單
• 設備價格較低。
• 使用單一架構，可簡化網路。
• 架設、測試、維護簡單。
• Overhead較少
79

79. 使用乙太網路作為基
礎傳輸的好處
• 乙太網路的連接已可從LAN至MAN而至WAN。
• 可利用VLAN作虛擬線路設定，並區分不同服務
等級。
• 網路拓蹼可為環狀或樹狀架構或混合。
• 已支援OAM及時管理及監控。
80

80. Technology
• VLAN/VLAN stacking (IEEE 802.1Q/ad/ah)
• Extending the Spanning Tree concept (IEEE
802.1D/S/W)
• Resilient Packet Ring (IEEE 802.17)
• MPLS (ITU-T 8110.1/8112/8121)
• Ethernet OAM (IEEE 802.3ah/802.1ag/ITU-
T Y.1731)
81

81. Protocol Layer
Functionality
Scalability QoS/TE Resilience OAM
IP Subnet, NAT DSCP Re-Routing Ping, Trace route etc.
Ethernet 12/24 bit GMPLS-based TE, 1:1 protection
802.1ag
VLAN Switching Label space 802.1p prioritization switching
Ethernet 46,46+12 bit GMPLS-based TE, 1:1 protection
802.1ag
MAC-in-MAC Label space 802.1p prioritization switching
Ethernet 20 bit GMPLS-based TE, 1:1 protection 802.1ag,
T-MPLS Label space Prioritization EXP bits switching, Fast Re-Route LSP ping/LSP traceroute
Ethernet 10/100/1000Mbps
802.17 RPR 802.3ah
PHY 10/100Gbps
WDM DWDM Standby channels
Fiber bundles Redundant fibers
82

82. Ethernet Protocols Stack
Audio/Video/Data Services
Virtual Circuit
VPLS
PSTN
T-Carrier/E-Carrier/SONET/SDH
VoIP SNMP
PWE3
PWE3 TCP/UDP
1588 PTP
IP
MPLS
802.1D/S/W STP/RSTP/MSTP
802.1Q VLAN 802.1Q VLAN 802.1aq OAM
802.2 802.1Q VLAN 802.1ad Q-in-Q
802.1ad Q-in-Q
802.1ah MAC-in-MAC 802.17 RPR 802.3ah OAM
802.3
83

83. The End
84