[대규모 시스템 설계 기초] 7장 분산 시스템을 위한 유일 ID 생성기 설계

 

👩🏻‍🏫 분산 시스템에서 사용될 유일 ID 생성기를 설계해 주세요!

 

🤔 데이터 베이스의 auto_increment를 쓰면 안될까?

❌ 분산 시스템에서 데이터 베이스 1대로는 요청을 감당할 수 없다! 그렇다고 해서 여러 데이터 베이스를 쓰더라도, 지연 시간이 길어진다! (ID 중복 방지를 위해 동기화 과정이 필요하기 때문)

 

그렇다면, 다른 방법으로 유일 ID를 생성해보자!

 

일단,

🔎 분산 시스템에서 유일 ID 생성기를 설계할 때, 고려해볼 수 있는 것들

✔️ ID가 정렬 가능해야 하는가?

✔️ 새로운 ID는 이전 ID보다 일정한 간격만큼 커야 하는가?

✔️ ID는 숫자로만 구성되어 있는가?

✔️ 초당 몇개의 ID를 생성할 수 있어야 하는가?

 

---

 

분산 시스템에서 유일성이 보장되는 ID를 만드는 방법들을 하나씩 알아보자!

 

1️⃣ 다중 마스터 복제

 : 데이터 베이스의 auto_imcrement 기능을 활용한 방법

 : id를 증가할 때, 1이 아닌 k만큼 증가 (k: 현재 사용 중인 데이터 베이스 서버의 수)

❕예시
데이터 베이스 서버가 3대가 있다면,
1번 서버 → 1, 4, 7, 10 ...
2번 서버 → 2, 5, 8, 11 ...
3번 서버 → 3, 6, 9, 12 ...

 

장점

• 서버의 크기를 늘리면, 초당 생성 가능한 ID 수를 늘릴 수 있다.

단점

• 여러 데이터 센터에 걸쳐 규모를 늘리기 어렵다.
• ID의 유일성은 보장되지만, 시간의 흐름에 따라 증가하도록 보장할 수 없다.
• 서버를 추가/삭제할 때도 잘 동작하도록 만들기 어렵다. (확장성 ↓)

🙋🏻‍♀️ "여러 데이터 센터에 걸쳐 규모를 늘리기 어렵다"의 이유가 3번째 이유와 같은가?

 

2️⃣ UUID

 : UUID는 컴퓨터 시스템에 저장되는 정보를 유일하게 식별하기 위한 128비트짜리 수

 : 09c93e62-50b4-468d-bf8a-c07e1040bfb2의 형태

 

장점

• UUID는 충돌 가능성이 아주 낮음
• 서버 간 조율 없이 독립적으로 생성 가능 (동기화 이슈 ❌, 네트워크 지연❌)
• 규모 확장이 쉬움

단점

• ID가 128비트로 길다
• ID를 시간 순으로 정렬할 수 없다.
• ID에 숫자가 아닌 값이 포함될 수 있다.

 

3️⃣ 티켓 서버

 : auto_increment 기능을 갖춘 데이터베이스 서버(티켓 서버)를 중앙 집중형으로 하나만 사용

장점

• 유일성이 보장되며, 숫자로만 구성할 수 있다.
• 구현하기 쉽고, 중소 규모 어플리케이션에 적합하다.

단점

• 티켓 서버가 SPOF가 된다. 그렇다고 티켓 서버를 분산 서버로 설계하면 동기화와 같은 문제가 발생한다.
  → ID 생성기는 필수 불가결 컴포넌트이므로 아주 높은 고가용성을 요구한다. 따라서 SPOF가 발생하는 것은 아주 치명적!

 

 

4️⃣ 트위터 스노플레이크 접근법

: 생성해야 하는 ID 구조를 여러 섹션으로 분할해 ID를 부여한다.

 

64비트 ID를 설계할 경우 가능한 구조

• 사인 비트: 1비트를 할당. 음수와 양수를 구별하는 데 사용 (현재는 필요 ❌)
• 타임스탬프: 41비트를 할당. 기준 시각(epoch) 이후로 몇 밀리초가 경과했는지 나타내는 값 (기준 시각을 최대한 최근으로 하면 좋음)
• 데이터센터 ID: 5비트를 할당. 따라서 32개(2^비트 수)의 데이터 센터를 지원
• 서버 ID: 5비트를 할당. 따라서 데이터 센터 당 32개 서버를 사용할 수 있음
• 일련번호: 12비트를 할당. 각 서버에서는 ID를 생성할 때마다 이 일련번호를 1만큼 증가시킴 (1밀리초가 경과할 때마다 0으로 초기화)

특징

• 데이터 센터 ID나 서버 ID는 시스템이 시작될 때 결정됨 (변경 ❌)
  → 변경이 된다면 ID 충돌이 발생할 수 있음
• 타임스탬프나 일련번호는 ID 생성기가 돌고 있는 중에 만들어지는 값
• 41비트로 표현할 수 있는 타임스템프의 최댓값은 2199023255551밀리초이며, 대략 69년에 해당(ID 생성기의 수명)

장점

• 유일성이 보장되며, 다른 데이터 센터 또는 서버와 충돌이 발생하지 않음으로 확장성이 좋다.
• ID생성이 빠르며 네트워크 지연이 없다.
• 숫자로 이루어져 있으며 시간 순서가 보장된다.

단점

• 시스템 시계가 동기화 되어 있지 않으면 ID가 충돌할 수 있다.
• ID의 길이를 고정된 크기로 제한하기 때문에 ID 생성기에 수명이 있다.
• 구현이 복잡하다.

 

❗각 섹션의 길이는 시스템 요구사항에 맞게 조절해야 한다!

예를 들어 동시성이 낮고 수명이 긴 애플리케이션이라면 일련번호 절의 길이를 줄이고 타임스탬프 절의 길이를 늘리는 것이 효과적!

 

---

 

🔎 추가적으로 논의해 볼 수 있는 것

✔️ 시계 동기화

 : ID 생성 서버들이 전부 같은 시계를 사용한다고 가정했지만, 사실 그렇지 못한 경우도 존재한다! 이 문제를 해결하는 보편적인 해결책은 NTP(Network Time Protocol)이다.