DynamoDB 도입기 (부제: 사용중인 오픈소스의 버그 수정하기 2탄)

들어가며

안녕하세요. 노머스에서 백엔드 개발을 하고 있는 유영기입니다.

회사의 성장과 더불어, 트래픽 증가로 도메인에 따른 데이터(DB) 분리를 고민하는 상황이 도래했습니다. 노머스 주요서비스인 fromm 메시지 서비스의 향후 기반 기술 확보도 같이 고려하여, 인증서버를 분리하면서 DynamoDB(NoSQL)를 도입하기로 결정하였습니다.

개발

준비

• 아주 유용했던 자료
  • https://www.youtube.com/watch?v=1nE609C6-SI : Amazon DynamoDB로 구현해보는 게임 데이터베이스
  • https://www.youtube.com/watch?v=I7zcRxHbo98 : Amazon DynamoDB 키 디자인 패턴

MongoDB에 대해 약간의 경험이 있었지만, 프로그래밍 언어와 마찬가지로 paradigm 변화는 DB에서도 한순간에 정리되지 않는 것 같습니다.
특히, 싱글 테이블 디자인이라고 하는 것은 사전 자료 없이 RDB적 사고에서는 전개되기 어려웠을 개념 같습니다.
(그래서 위 두 영상을 꼭 보세요.)

진도의 물꼬를 틔운 것이 키 디자인 풀사이클 중에 모든 데이터 액세스 패턴 정리하기 였습니다.
AWS Solutions Architect 께서도 언급하지만, 창업 초기 비즈니스의 요구사항이 자주 변할 때에는 RDB의 사용을 권하고,
데이터 액세스 패턴이 정해지고 트래픽이 증가할 때, DynamoDB 같은 NoSQL의 검토가 유용할 것 같습니다.

설계

AWS의 권고에 따라, partition key는 pk, sort key는 sk로 정하였고, 결과적으로 Secondary Index는 사용하지 않는 방향으로 설계했습니다.
백엔드팀원들 모두가 DynamoDB의 Partition 제약조건 및 Capability, 비용, 복합키 등을 공부하고, 각자가 인증서버의 DynamoDB 테이블을 설계해 와서, 논의 하는 자리를 마련하였습니다.
이 회의에서 종합된 구조로 DynamoDB의 테이블을 정하였습니다.
(이 과정에서 AWS 제공하는 DynamoDB용 NoSQL Workbench를 사용하였습니다.)

구현

설계 과정에서부터 지원 Data type, 지원 Command, 지원 연산자 등을 조사해 보았고, 특히 복합키와 BEGINS_WITH, BETWEEN 연산자 활용이 흥미로왔습니다.

정렬 키를 사용하여 데이터를 정리하는 모범 사례

DynamoDB ORM에 대해 얕게 검색해 보고, 대중적인게 없다는 생각에 처음에는 AWS SDK로 Service Layer를 만들었다가,
새로 입사하신 선형님께서 Dynamoose 존재를 알려주셔서 ORM을 적용하였는데, 기존 RDB에서 TypeORM을 사용하고 있듯이, 친숙하고 코드도 깔끔해 졌습니다.

---

그런데, 이 과정에서 Dynamoose ORM의 버그가 발견되었습니다.
저희는 각 stage에 따라 WAS & DB 서버가 분리되어 있고, DynamoDB는 AWS 동일 계정에서 테이블명으로 stage를 구분하는게 적절하다는 판단에
https://dynamoosejs.com/guide/Table 에서 제공하는 prefix 혹은 suffix 옵션을 사용하였는데,
transaction 안에서는 tableName의 prefix 혹은 suffix가 적용되지 않는 현상이 발견되었습니다.

그래서 우선은 prefix 혹은 suffix 옵션을 사용하지 않고, tableName 자체를 stage에 따라 설정하였습니다.
이후, 제 이전 블로그 글(사용중인 오픈소스의 버그 수정하기)의 추천 처럼 오픈 소스 repository에 방문하여, PR 을 발행하였습니다.
개선 사항은 v3.3.0 에 릴리즈 되었고, 현재 저희는 이 개선이 포함된 v4.0.0 으로 prefix 혹은 suffix 옵션을 설정하여 사용하고 있습니다.

마치며

DynamoDB 이전부터 NoSQL을 점진적으로 접해 왔지만, 이번 프로젝트를 통해 느낀 부분을 그림으로 표현해 보았습니다.

ETL(Extract, Transform, Load) 관점으로 볼때, 데이터 저장 시점에 따라 적절한 DB가 자연스럽게 유도됨을 알게 되었습니다.

감사합니다.