Serverless Framework Plugin을 만들어서 Lambda timeout 잡아내기

Serverless Framework Plugin 만들기

안녕하세요. 원더월/프롬 백엔드 서비스를 개발하고 있는 유근수라고 합니다.

저희 백엔드팀은 많은 부분에서 Serverless Framework를 사용하고 있습니다.

Serverless Framework에 붙여서 쓸 수 있는 plugin들이 많이 있는데, 이번에는 필요한 기능을 제공하는 plugin을 찾지 못해서, 간단한 plugin을 만들었는데, 그 과정을 공유해보려고 합니다.

Serverless Framework란?

Serverless Framework는 서버리스 아키텍처를 쉽게 구성하고 사용할 수 있게 해주는 도구입니다.

기본적으로는 API Gateway와 Lambda를 이용해서 쉽게 API 서버를 만들고 관리할 수 있고, 그 외에 필요한 AWS 구성요소들도 IaC 형태로 추가로 관리할 수도 있습니다.

만들게 된 배경

저희도 기본적으로는 Serverless Framework를 API 서버를 관리하기 위한 용도로 사용하지만, SQS를 만들고 SQS 이벤트를 처리하는 Lambda function을 관리하는 용도로도 많이 사용하고 있습니다.

SQS에 붙인 Lambda function이 오류가 나서 throw된 경우에는, 자동으로 재시도되게끔 설정해서 사용하고 있습니다.
하지만 Lambda function이 timeout이 된 경우에는, throw로 처리되지 않기때문에 재시도 처리를 하지 않게 됩니다.

이렇게 Lambda가 timeout이 된 경우, 따로 모니터링을 하고 있지 않아서 놓치게 되는 경우가 생겨서,
이 부분을 Serverless Framework의 plugin으로 만들어보게 되었습니다.

Lambda timeout 이벤트 알람 설정

Lambda가 timeout으로 종료될때, Cloudwatch Logs에 Task timed out after 라는 특정한 메시지를 남기면서 종료됩니다.
Cloudwatch Logs의 저 메시지를 필터하고, 해당 메트릭에 알람을 설정하는 형태로 구성하면,
Lambda의 timeout 알림을 받을 수 있습니다.

plugin 만들기

Serverless Framework 공식 문서에 plugin을 만드는 방법이 간단하게 소개되어 있습니다.

간단한 예제를 만들기에는 충분하지만, 자세하게 내용이 나와있진 않아서, 이 블로그 내용을 참고해서 만들었습니다.

constructor에서는 aws sdk 요청을 위한 provider와 Serverless Framework의 hook을 설정합니다.
(hook의 handler는 async function을 지원합니다 🙂)

    constructor(serverless) {
        this.#serverless = serverless;
        this.#provider = this.#serverless.getProvider(this.#serverless.service.provider.name);

        this.hooks = {
            'after:deploy:deploy': () => this.afterDeploy()
        };
    }

실제 로직은 hook에 설정해둔 afterDeploy() 메서드에서 실행합니다.
provider request요청은 CloudFormation 요청을 참고해서 구성하면 됩니다.

    async afterDeploy() {
        console.log('🎃 after:deploy:deploy');

        for (const func of Object.values(this.#serverless.service.functions)) {
            console.log(`👾 ${func.name}`);

            console.log(
                await this.#provider.request('CloudWatchLogs', 'putMetricFilter', {
                    logGroupName: `/aws/lambda/${func.name}`,
                    filterName: 'lambda-timeout',
                    filterPattern: 'Task timed out after', // 람다 타임아웃 발생했을때 찍히는 로그
                    metricTransformations: [
                        {
                            metricNamespace: 'Fromm/LambdaTimeouts',
                            metricName: func.name,
                            metricValue: '1'
                        }
                    ]
                })
            );

            console.log(
                await this.#provider.request('CloudWatch', 'putMetricAlarm', {
                    AlarmName: `LambdaTimeoutAlarm - ${func.name}`,
                    Namespace: 'Fromm/LambdaTimeouts',
                    MetricName: func.name,
                    Period: 10, // 초 단위 간격
                    EvaluationPeriods: 1, // 하나의 알람이 발생하려면 평가하는 기간의 수
                    Threshold: 1, // 알람이 발생하는 임계값
                    ComparisonOperator: 'GreaterThanOrEqualToThreshold', // 임계값 조건
                    Statistic: 'Minimum',
                    AlarmActions: ['arn:aws:sns:ap-northeast-2:xxxxxxxx:LambdaTimeoutTopic'], // 알람 발생 시 SNS 주제로 메시지를 보냅니다
                    OKActions: [], // 알람이 해제될 때 실행되는 작업
                    InsufficientDataActions: [], // 데이터가 충분하지 않은 경우 실행되는 작업
                    TreatMissingData: 'missing' // 데이터가 없는 경우 'missing'으로 설정하여 경고를 방지합니다
                })
            );
        }
    }

전체 코드는 아래와 같습니다.

'use strict';

class TimeoutPlugin {
    #serverless;
    #provider;

    constructor(serverless) {
        // .... 위의 내용과 같습니다.
    }

    async afterDeploy() {
        // .... 위의 내용과 같습니다.
    }
}

module.exports = TimeoutPlugin;

그리고 serverless.yml의 plugins 항목에 추가해줍니다.

service: app

functions:
    # ...

plugins:
    - ./timeout_plugin.js

마무리

이제 만들어진 SNS 토픽을 처리할 Lambda function을 만들고, 슬랙 알림 등으로 처리하면 람다의 timeout 알림을 받을 수 있습니다.
간단한 기능이었지만, 문서도 간단하게만 나와있어서 자료를 찾느라 생각보다 시간이 걸렸던 것 같습니다.
끝까지 읽어주셔서 감사합니다~ 😆