[javascript] Bluebird를 사용하여 데이터 스트림을 처리하여 메모리 사용량을 최적화하는 방법을 알려주세요.

20 Dec 2023

javascript

Bluebird는 Promise.map을 사용하여 비동기적으로 데이터를 처리할 수 있습니다. 이를 통해 데이터가 큰 경우에도 메모리 사용량을 최적화할 수 있습니다. 예를 들어, 데이터베이스에서 많은 레코드를 가져와서 처리해야 할 때, Promise.map을 사용하여 데이터를 청크 단위로 읽어와서 처리할 수 있습니다.

const Promise = require('bluebird');

function processDataInChunks(data) {
  const chunkSize = 1000;
  const chunks = [];

  for (let i = 0; i < data.length; i += chunkSize) {
    chunks.push(data.slice(i, i + chunkSize));
  }

  return Promise.map(chunks, async (chunk) => {
    // 여기에 각 청크를 처리하는 비동기 코드를 작성합니다
    for (const item of chunk) {
      // 비동기 작업 처리
    }
  }, { concurrency: 5 }); // 동시에 처리할 작업의 최대 수를 설정
}

// 데이터를 가져오는 비동기 작업
async function fetchDataAndProcess() {
  const data = await fetchDataFromDatabase();
  await processDataInChunks(data);
}

fetchDataAndProcess();

위의 예제에서 Promise.map을 사용하여 데이터를 청크 단위로 처리하고 있습니다. 이를 통해 큰 데이터셋을 한꺼번에 메모리에 적재하지 않고 처리할 수 있습니다. 또한, { concurrency: 5 }와 같이 concurrency(동시성) 옵션을 사용하여 동시에 처리할 작업의 수를 제한할 수 있습니다.

참고 자료: Bluebird 공식 문서

이와 같은 방식으로 Bluebird를 사용하여 데이터 스트림을 처리하면 메모리 사용량을 최적화할 수 있습니다.