[nodejs] 데이터베이스 연동을 위한 대용량 데이터 처리 방법

26 Dec 2023

nodejs

대규모 어플리케이션을 개발하다 보면 대용량의 데이터를 효율적으로 다루어야 하는 경우가 많습니다. Node.js와 데이터베이스를 연동하여 대용량 데이터를 처리하는 방법에 대해 알아보겠습니다.

1. Node.js와 데이터베이스 연동

Node.js는 Non-blocking I/O와 단일 스레드 이벤트 루프 모델을 사용하여 비동기 방식의 프로그래밍을 지원합니다. 데이터베이스 연동을 위해 mysql, mongodb, postgresql과 같은 모듈을 활용하여 비동기로 데이터베이스에 쿼리를 수행할 수 있습니다.

const mysql = require('mysql');
const connection = mysql.createConnection({
  host: 'localhost',
  user: 'root',
  password: 'password',
  database: 'mydb'
});

connection.connect((err) => {
  if (err) throw err;
  console.log('Connected to MySQL database');
});

connection.query('SELECT * FROM mytable', (err, results) => {
  if (err) throw err;
  console.log(results);
});

connection.end();

2. 대용량 데이터 처리를 위한 방법

대용량의 데이터를 처리하는 경우, 메모리를 효율적으로 활용해야 합니다. 일괄 처리나 스트리밍 방식을 활용하여 데이터를 조각내어 처리할 수 있습니다.

2.1 스트리밍 방식

스트리밍 방식을 사용하여 데이터베이스로부터 한 번에 모든 데이터를 가져오는 것이 아니라 조각 단위로 가져와서 처리할 수 있습니다. 이를 통해 메모리 부담을 줄일 수 있습니다.

const stream = connection.query('SELECT * FROM mytable').stream();
stream.on('data', (row) => {
  // 각 행(row)에 대한 처리 로직
});
stream.on('end', () => {
  // 처리 완료 후 로직
});

2.2 일괄 처리

일괄 처리를 통해 데이터를 여러 작은 그룹으로 나누어 처리함으로써 한 번에 많은 양의 데이터를 처리할 수 있습니다.

connection.query('SELECT * FROM mytable', (err, results) => {
  if (err) throw err;
  results.forEach((row) => {
    // 각 행(row)에 대한 처리 로직
  });
});

3. 결론

Node.js를 사용하여 데이터베이스와 연동하여 대용량의 데이터를 효율적으로 처리하기 위해 스트리밍 방식과 일괄 처리 방법을 활용할 수 있습니다.

4. 참고 자료

Node.js 공식 문서: https://nodejs.org/
MySQL 모듈 공식 문서: https://github.com/mysqljs/mysql
MongoDB 모듈 공식 문서: https://github.com/mongodb/node-mongodb-native

목차