키-값 저장소 설계

 

- put (key, value) : 키-값 쌍을 저장소로 저장한다.

- get (key) : 인자로 주어진 키에 매달린 값을 꺼낸다. 

 

문제 이해 및 설계 범위 확정 

키-값 쌍 크기는 10kb 이하

큰 데이터를 저장할 수 있어야 한다. 

시스템에 장애가 생긴다고해도, 빨리 응답해야 한다.

트래픽 양에 따라서 자동적으로 서버 증설/삭제가 이루어지며 규모 확장성이 용이해야한다. 

데이터 응답 지연시간은 짧아야 한다. 

 

단일 서버 키-값 저장소

한 대 서버만 사용하는 키-값 저장소 설계는 쉽다. 모두 해시테이블로 저장하는 직관적인 방법도 있다. 

- 데이터 압축 

- 자주쓰는 데이터만 메모리만 두고 나머지는 디스크에 저장 한다. 

 

분산 키-값 저장소

분산 키-값 저장소는 분산 해시 테이블이라고도 한다. 키-값 쌍을 여러 서버에 분산시키는 것이다. 

분산 시스템을 이해하려면 CAP을 이해해야한다.

1. Consistency 

분산 시스템에 접속하는 모든 클라이언트는 어느 노드에 접속했느냐 상관없이 언제나 동일한 데이터를 본다.

2. Availiability

분산 시스템에 접속하는 클라이언트는 일부 노드에 장애가 발생해도 항상 같은 응답을 받는다. 

3. Partiition Tolerance theorem 

파티션 감내. 파티션은 두 노드 사이에 장애가 발생한걸 의미한다. 네트워크 파티션이 생겨도 시스템이 계속 동작해야 한다. 

 

 

분산 시스템에서 데이터는 여러 노드에 복제되어 보관된다. 노드 3대, n1, n2, n3는 데이터를 복제하여 보관하는 상황이다. 6-2그림은 이상적인 네트워크 파티션 상황을 보여준다. 데이터 일관성과 가용성도 만족된다. 파티션되는 네트워크 상황은 절대로 발생되지 않는다. 

 

그러나 실제로는, 분산 시스템에서 파티션 문제는 피할 수 없다. 

파티션 문제가 발생하면 일관성과 가용성 중에 하나를 선택해야한다. 

n3에는 기록되었으나 아직 n1, n2에는 전달되지 않은 데이터가 있으면 n1,n2는 오래된 사본을 갖고 있는다.

예를 들어 은행권 시스템은 보통 데이터 일관성을 절대 양보하지 않는다. 

일관성대신 가용성을 선택한 AP시스템이면, 설사 낡은 사본 위라도, 계속 읽기, 쓰기 연산을 허용하는 것이다. 

파티션이 해결되면 그 이후에 새 데이터를 n3에 전송하게 될것이다. 

따라서, 분삳 ㅋ-값 저장소를 만들때에는 상황에 맞춰서 CAP정리를 적용해야 한다. 

 

시스템 컴포넌트 

-데이터 파티션

-데이터 다중화

-일관성

-일관성 불일치 해소

-장애 처리

-시스템 아키텍처 다이어그램

-쓰기 경로

-읽기 경로

널리 사용되고 있는 3가지 키-값저장소 다이나모(Dynamo)[4], 카산드라(Cassandra)[5], 빅테이블(BigTable)[6]을참조한다.