L1 physical

학교 네트워크 수업은 보통 top-down으로 진행한다. OSI 7 layer를 위에서부터 내려오면서 배우는데, 이론 위주다 보니 회사에서 네트워크를 구성할 때 필요한 내용은 따로 찾아봐야 하는 경우가 많다.

그래서 이번 시리즈는 거꾸로 L1부터 L7까지 올라가 보려고 한다. 수업에서 배운 내용이 실무에선 어떻게 쓰이는지, 수업에선 안 다뤘지만 알아둬야 하는 건 뭔지 정리해보자. (L7부터 쓰면 뒤로 갈수록 재미없을 것 같아서… 귀찮은 L1부터 후딱 쓰자.)

글의 기준은 on-premise 환경에서 웹서비스를 운영하거나 CSP 사업을 하는 경우다. 클라우드 서비스를 가져다 쓰는 쪽보다는, 직접 인프라를 구성하는 쪽에 가깝다.

L1에서 알아둘 것

수업에선 L1을 물리 계층이라고 하고 전기 신호나 빛, 전파부터 설명한다. 여기선 서버와 스위치를 연결하는 데 필요한 유선 쪽만 보려고 한다.

실제 케이블 포설이나 장비 마운트는 벤더나 통신 작업자분들께 맡기는 경우가 많다. 그렇다고 물리 구성을 전혀 몰라도 되는 건 아니다. IDC를 구성하려면 어느 구간에 어떤 케이블과 모듈을 쓸지는 직접 정해야 한다. 우선 구리와 광케이블의 차이, 그리고 광 포트에 꽂는 transceiver 정도를 알아두면 된다.

RJ45 포트와 SFP 계열 포트

사진의 왼쪽에 빽빽하게 있는 게 익숙한 LAN 포트(RJ45)고, 오른쪽 끝 몇 개가 모듈을 꽂는 SFP 계열 포트다. 광모듈을 쓰는 경우를 기준으로 비교하면 아래와 같다.

항목	LAN 포트 (RJ45)	광 포트 (SFP)
케이블	UTP (구리)	광케이블
신호	전기	빛
속도	1G ~ 10G	1G ~ 400G 이상
거리	최대 100m	수백 m ~ 수십 km
주 용도	서버 ↔ 스위치	스위치 ↔ 스위치 (uplink)

이런 스위치는 서버를 RJ45에 붙이고, 상위 스위치로 올라가는 uplink에 광을 쓰는 식으로 구성할 수 있다. 서버 연결도 필요한 속도에 따라 광이나 DAC를 쓰므로, 연결 대상만으로 케이블 종류가 정해지는 건 아니다.

UTP (RJ45)

케이블 안에 꼬인 구리선이 들어있고, 전기 신호로 데이터를 보낸다.

1G ~ 10G 정도, 거리는 최대 100m (전기 신호는 멀리 갈수록 감쇠가 심해서 빛보다 거리가 짧다)
10G를 100m까지 쓰려면 Cat6a 이상이 필요하다
아래쪽 FTP는 실드를 한 겹 감싼 버전이라 노이즈에 더 강하다

주로 서버를 스위치에 붙일 때 쓴다. 서버실에 들어가 보면 랙 상단에 스위치를 두고, 그 아래 서버들을 UTP로 연결해둔 걸 볼 수 있다.

광 (SFP)

스위치끼리 고속으로 연결하거나 거리가 먼 구간에 광을 쓴다. SFP 계열 포트에 광케이블을 연결하려면 전기 신호를 빛으로 바꿔주는 transceiver를 먼저 꽂아야 한다. 현장에선 그냥 지빅(GBIC)이라고들 부른다. (엄밀히 GBIC은 SFP 이전 세대 규격이다.)

사진의 모듈 앞을 보면 구멍이 두 개 있다. 하나는 TX(송신), 다른 하나는 RX(수신)다. 여기에 연결하는 광케이블도 두 가닥이 한 쌍으로 붙어 있다.

Switch A                Switch B
  [TX] ----- fiber -----> [RX]
  [RX] <---- fiber ------ [TX]

이 구성에서는 한쪽 TX가 반대쪽 RX로 이어지도록 연결한다.

멀티모드 vs 싱글모드

광케이블은 멀티모드와 싱글모드로 나뉜다. 케이블을 고를 때는 연결할 거리와 모듈 규격을 같이 본다.

멀티모드 두 종류와 싱글모드의 빛 전달 경로 비교

그림의 위 두 줄이 멀티모드, 맨 아래가 싱글모드다. 가운데의 빛이 지나가는 경로를 보면 이름의 차이를 이해하기 쉽다. 멀티모드는 여러 모드로, 싱글모드는 하나의 모드로 빛이 전달된다.

항목	멀티모드 (MMF)	싱글모드 (SMF)
거리	대략 100 ~ 400m	10km ~ 수십 km
transceiver	저렴 (SR)	비쌈 (LR / ER / ZR)
케이블 색	하늘색 (OM3/OM4)	노란색 (OS2)
주 용도	같은 홀 안, 랙 ↔ 랙	건물 간, DC 간

위 사진의 하늘색 케이블이 멀티모드다. 표의 거리는 대략적인 구분이고, 실제 지원 거리는 속도와 케이블 등급, 모듈에 따라 달라진다.

예를 들어 10G SR도 OM3에서는 300m, OM4에서는 400m까지 지원하는 제품이 있다. 이름에 SR이 붙었다는 것만 보고 거리를 정하기보다는 사용할 모듈의 데이터시트를 확인하는 편이 좋다. (Cisco 10G SFP+ 데이터시트)

Transceiver 이름 읽기

모듈 이름을 보면 속도, 포트 규격, 지원 거리의 단서를 얻을 수 있다. 예를 들어 10G SFP+ SR은 아래처럼 읽는다.

10G  SFP+  SR
 |    |     +-- 거리   : SR(멀티모드 ~300m) / LR(싱글모드 ~10km)
 |    +-------- 폼팩터 : 꽂을 포트 모양
 +------------- 속도

폼팩터	속도
SFP	1G
SFP+	10G
SFP28	25G
QSFP+	40G
QSFP28	100G
QSFP-DD / OSFP	400G ~ 800G

모듈을 주문할 때는 스위치가 지원하는 폼팩터와 속도를 먼저 확인한다. 위와 같은 광 연결이라면 양 끝도 SR-SR, LR-LR처럼 규격을 맞추고, 그에 맞는 케이블을 골라야 한다.

랙 안에서 연결하기: ToR

케이블과 모듈을 봤으니, 실제 랙에서는 어떻게 연결하는지도 간단히 정리해보자.

랙에 서버를 배치할 때는 보통 맨 위에 스위치를 두고 아래 서버들을 붙인다. 이걸 ToR(Top of Rack) 구성이라고 한다.

예를 들어 서버 10대가 각각 500M 정도 대역폭이 필요하다면 이렇게 잡는다.

need     : 500M x 10 servers = 5G     실제 트래픽
downlink : 1G UTP x 10       = 10G    서버 -> ToR
uplink   : 10G MMF x 1       = 10G    ToR -> 상위 스위치

서버 쪽 포트 대역폭의 합과 uplink 대역폭의 비율을 oversubscription이라고 한다. 위 구성은 10G : 10G로 1:1이다. 서버 10대가 동시에 1G씩 보내도 uplink 대역폭 안에 들어온다. 장애까지 대비하려면 uplink를 여러 개 두는 구성도 필요하다. 링크를 묶는 방법은 L2에서 다룬다.

DCI: DC끼리 잇기

데이터센터 이중화를 하려면 DC끼리 연결하는 DCI(Data Center Interconnect)가 필요하다. 이때는 물리적인 거리와 필요한 대역폭에 따라 어떤 링크로 구성할지가 달라진다. (물론 가격도 천차만별이다)

DCI나 외부망 연결에는 여러 서버의 트래픽이 모이므로 대역폭을 따로 계산해야 한다. 서비스 규모에 따라 100G 이상의 회선이 필요할 수도 있다.

거리별로 보면 대략 이렇게 고른다.

거리	구간	주로 쓰는 것
~수 m	랙 안 (서버 ↔ ToR)	UTP, DAC
~수백 m	같은 홀 (ToR ↔ 상위 스위치)	멀티모드 + SR
~10km	건물 간	싱글모드 + LR
수십 km ~	DC ↔ DC	싱글모드 + ER/ZR, DWDM, 통신사 전용회선

표에 처음 나온 DAC는 양 끝에 SFP 계열 커넥터가 일체형으로 붙은 구리 케이블이다. 랙 안의 짧은 구간에선 광모듈과 광케이블을 따로 사는 것보다 저렴해서 서버 10G/25G 연결에도 많이 쓴다.

장비 배치를 정할 때 거리까지 같이 봐야 하는 이유가 여기에 있다. 같은 속도라도 랙 안에서 연결할 때와 DC 사이를 연결할 때 필요한 케이블, 모듈, 회선 비용이 꽤 달라진다.

다음 글: L2 — 같은 망 안에서 프레임 주고받기

tech-notes

탐색기