[javascript] Axios를 이용한 스크래핑 기능 구현 방법

21 Nov 2023

javascript

스크래핑은 웹 사이트에서 원하는 정보를 추출하는 기술로, 웹 페이지의 HTML 구조를 파싱하여 필요한 데이터를 가져오는 작업을 말합니다. JavaScript를 사용하여 스크래핑 기능을 구현할 때는 Axios 라이브러리를 활용할 수 있습니다. Axios는 웹 요청을 처리하기 위한 간편하고 강력한 HTTP 클라이언트 라이브러리로, 데이터를 가져오는데 매우 유용합니다.

Axios 설치

Axios를 사용하기 위해서는 먼저 Axios를 설치해야 합니다. npm을 통해 설치할 수 있습니다. 다음 명령어를 사용하여 Axios를 설치합니다.

npm install axios

스크래핑 기능 구현하기

Axios를 사용하여 스크래핑 기능을 구현하는 방법은 다음과 같습니다:

Axios를 임포트합니다:
```
const axios = require('axios');
```
원하는 웹 페이지의 URL을 설정합니다:
```
const url = 'https://example.com';
```

Axios를 사용하여 데이터를 가져옵니다:

axios.get(url)
 .then(function (response) {
     // 데이터를 가져오는데 성공했을 때 실행되는 코드
     console.log(response.data);
 })
 .catch(function (error) {
     // 데이터를 가져오는데 실패했을 때 실행되는 코드
     console.error(error);
 });

위의 코드에서는 Axios의 get 메서드를 사용하여 GET 요청을 보내고, 데이터를 가져왔을 때 then 블록에서 처리하고, 가져오기를 실패한 경우 catch 블록에서 에러를 처리합니다.

필요한 데이터를 추출합니다:

const extractedData = response.data;
// 추출한 데이터를 가공 및 출력하거나 원하는 작업을 수행할 수 있습니다.

Axios 설치

스크래핑 기능 구현하기

참고 자료