[nodejs] AWS Lambda로 데이터 병합하기

22 Dec 2023

nodejs

AWS Lambda는 서버리스 컴퓨팅 서비스로, 백그라운드에서 코드를 실행할 수 있는 이벤트 기반 컴퓨팅 플랫폼입니다. 이 서비스를 사용하여 데이터를 병합하고 원하는 형식으로 가공할 수 있습니다.

이 블로그 포스트에서는 AWS Lambda를 사용하여 여러 데이터 소스에서 정보를 가져와 병합하는 방법에 대해 알아보겠습니다.

데이터 소스 설정

Lambda 함수를 사용하여 데이터를 병합하려면 먼저 데이터 소스를 설정해야 합니다. 이 예시에서는 Amazon S3, Amazon RDS, 그리고 외부 API를 데이터 소스로 사용할 것입니다.

Amazon S3: CSV 파일이 업로드된 버킷
Amazon RDS: MySQL 데이터베이스
외부 API: RESTful API

이러한 다양한 데이터 소스로부터 필요한 정보를 가져와야 합니다.

Lambda 함수 작성

Lambda 함수를 작성하여 데이터를 가져와서 병합하는 프로세스는 다음 단계로 진행됩니다.

이벤트 트리거 설정: S3에 파일 업로드, RDS 데이터베이스 변화, 또는 시간 기반으로 이벤트 트리거를 설정합니다.
데이터 가져오기: Lambda 함수가 트리거를 감지하면, 필요한 데이터를 Amazon S3, RDS, 그리고 외부 API에서 가져옵니다.
데이터 병합: 가져온 데이터를 하나의 데이터 구조로 병합하고 가공합니다.
결과 반환: 최종적으로 처리된 데이터를 저장하거나 외부 시스템으로 반환합니다.

다양한 데이터 소스와 복잡한 병합 프로세스에도 불구하고, Lambda 함수는 이러한 작업을 간편하게 수행할 수 있습니다.

예시 코드

다음은 Node.js를 사용하여 AWS Lambda 함수를 작성하는 간단한 예시 코드입니다.

// AWS SDK 및 다른 모듈 불러오기
const AWS = require('aws-sdk');
const mysql = require('mysql');
const fetch = require('node-fetch');

// Lambda 핸들러 함수
exports.handler = async (event, context) => {
  try {
    // S3에서 CSV 파일 가져오기
    const s3 = new AWS.S3();
    const dataFromS3 = await s3.getObject({ Bucket: 'myBucket', Key: 'data.csv' }).promise();
    
    // RDS에서 데이터 가져오기
    const connection = mysql.createConnection({
      host: 'mydbinstance.123456789012.us-west-2.rds.amazonaws.com',
      user: 'username',
      password: 'password',
      database: 'mydb'
    });
    connection.connect();
    const dataFromRDS = await new Promise((resolve, reject) => {
      connection.query('SELECT * from myTable', (error, results, fields) => {
        if (error) {
          reject(error);
        } else {
          resolve(results);
        }
      });
    });

    // 외부 API에서 데이터 가져오기
    const response = await fetch('https://api.example.com/data');
    const dataFromAPI = await response.json();
    
    // 데이터 병합 및 가공
    const mergedData = mergeAndProcess(dataFromS3, dataFromRDS, dataFromAPI);
    
    // 결과 반환
    return {
      statusCode: 200,
      body: JSON.stringify(mergedData)
    };
  } catch (err) {
    return {
      statusCode: 500,
      body: JSON.stringify({ message: err.message })
    };
  }
};

위의 예시 코드는 CSV 파일을 Amazon S3에서, MySQL 데이터를 Amazon RDS에서, 그리고 외부 API로부터 가져와서 데이터를 병합하는 과정을 포함하고 있습니다.

더 많은 복잡한 시나리오에서는 AWS SDK의 다양한 서비스 및 외부 라이브러리를 활용하여 Lambda 함수를 작성할 수 있습니다.

결론

AWS Lambda를 사용하여 다양한 데이터 소스로부터 데이터를 가져오고 병합하는 것은 복잡한 작업일 수 있지만, Lambda를 사용하면 간단하게 이를 수행할 수 있습니다. Lambda를 통해 데이터를 가공하는 것은 비용을 절감하고 확장성 있는 솔루션을 구축하는 데 도움이 됩니다.

마지막으로, 데이터 처리 작업을 위해 AWS Lambda를 사용하는 경우 권한 및 보안에 주의하여야 합니다. Lambda 함수에 적절한 권한 및 보안 설정을 해야 합니다.

더 자세한 내용은 AWS Lambda 문서를 참고하시기 바랍니다.

이상으로 AWS Lambda를 사용하여 데이터를 병합하는 방법에 대해 알아보았습니다. 감사합니다.