데드락 예방과 SQS 도입

들어가며

안녕하세요. 원더월 백엔드 개발자 이찬희입니다.

이번 포스트는 1편인 데드락의 발생 원인 에 이어서 작성되니 먼저 읽고와주시면 좋을 것 같습니다.

1편에서는 재고처리 로직에서 발생하는 데드락의 원인에 대해 알아봤었는데요, 이번 포스트에서는 새롭게 프롬스토어를 개발하며 데드락을 예방하고 재고를 안정적으로 처리하기 위해 작업했던 내용을 설명드리도록 하겠습니다.

테이블 구조 변경

기존의 데드락 문제를 예방하기 위해 새로운 테이블 inventory를 만들고 기존에 product 테이블에 있던 sold_count(판매수량), max_count(재고) 컬럼을 inventory 테이블로 옮겼습니다.

아래는 1편에서 나온 기존 api의 동작입니다.

1. 주문 생성 api - order 테이블에 insert 합니다.
2. 주문 완료 api - product 테이블의 sold_count를 update 합니다.

여기서 product 테이블의 sold_count를 inventory로 옮기게 된다면 아래 내용을 기대할 수 있습니다.

1. 주문 완료 api에서 product 테이블에 sold_count를 update하는 과정이 필요하지 않습니다.
2. 이렇게 되면 같은 product_id에 대한 order insert / product update가 겹치지 않아 데드락을 에방할 수 있습니다.

inventory 테이블에 sold_count를 update하는 부분이 추가되긴 하지만 로직을 분리하고 SQS를 도입하여 안정적으로 처리할 수 있게끔 하였습니다.

SQS 도입과 구현

테이블을 분리하여 데드락을 예방하였지만, 아직 하나의 함수에 주문, 재고처리(판매수량 업데이트, 품절처리)가 모두 포함되어 있어 트랜잭션 내에서 처리하는 로직이 많습니다. 이렇게 되면 같은 자원을 동시에 획득하려고 하는 상황이 아니더라도 긴 트랜잭션이 끝나기를 대기하다가 데드락이 발생할 가능성은 여전히 존재합니다. 그렇기 때문에 주문의 안정성을 위해 주문, 재고처리(판매수량 업데이트, 품절처리) 로직을 모두 분리하였습니다.

판매수량 업데이트와 품절처리 로직은 각 Queue를 구독하는 Lambda가 처리하도록 구현하였습니다.

1. 유저가 주문 생성부터 주문 완료까지의 로직입니다. 주문 생성/완료에 대한 로직만 실행하며, 주문 완료 이후 UpdateSoldCountQueue에 event를 전송하고 OrderLambda는 종료됩니다.

2. UpdateSoldCountQueue: 판매된 inventory의 id와 sold_count 정보를 가지는 queue

3. UpdateSoldCountLambda: UpdateSoldCountQueue를 구독하고 있는 lambda function입니다. UpdateSoldCountQueue로 이벤트가 들어오면 그것을 하나씩 꺼내 와 실행하게 되는데 inventory_id와 sold_count를 받아 수량 증가 로직을 실행합니다.

4. 만약 UpdateSoldCountLambda에서 sold_count를 업데이트했는데 max_count를 초과했다면, UpdateSoldOutQueue에 품절된 product의 정보 event를 전송합니다. UpdateSoldOutQueue는 품절된 product의 정보를 가지고 있습니다.

5. UpdateSoldOutLambda: UpdateSoldOutQueue를 구독하고 있는 lambda function입니다. UpdateSoldOutQueue로 이벤트가 들어오면 그것을 하나씩 꺼내 와 실행하게 되는데 product_id를 받아 db에 품절처리 로직을 실행합니다.

Admin에서도 기존 product의 max_count를 증감시킬 수 있는데요, 마찬가지로 UpdateSoldCountQueue를 호출하여 max_count를 관리할 수 있습니다.

위 과정을 거침으로서 아래와 같은 이점을 얻을 수 있었습니다.

1. 각 로직을 수정할 때 서로 신경쓸 필요가 없습니다.
2. 특정 큐의 에러가 발생해도 다른 큐가 영향을 받지 않습니다.
3. 로그를 각각 볼 수 있어 트래킹에 용이합니다.

마치며

이번 포스트에서는 데드락 예방과 SQS의 도입에 대해 다뤘습니다.

SQS를 사용하면 재고처리와 같은 중요한 작업을 안정적으로 관리할 수 있습니다. 정보가 안전하게 큐로 이동하고 처리되므로 데이터가 손실되거나 중복 처리되지 않습니다. 또한 시스템에 장애가 발생하더라도 SQS는 메시지를 안전하게 보관하고 시스템이 회복되면 처리를 계속할 수 있습니다.

이것은 고객 신뢰도를 높이고 주문 처리 시스템의 안정성을 보장하는 데 큰 장점이 됩니다. 이러한 안정성은 SQS의 중요한 이점 중 하나라고 생각합니다.

감사합니다.