HTTPie 설치하기

먼저, HTTPie를 설치해야 합니다. 다음 명령을 사용하여 파이썬 패키지 관리자인 pip를 사용하여 HTTPie를 설치할 수 있습니다.

pip install httpie

웹 페이지 스크래핑하기

HTTPie는 HTTP 프로토콜을 사용하여 웹 페이지에 요청을 보내고 응답을 받을 수 있습니다. 다음 명령을 사용하여 웹 페이지를 스크래핑할 수 있습니다.

http GET <URL>

여기서 <URL>은 스크래핑하려는 웹 페이지의 주소입니다. 예를 들어, 다음과 같이 Google 홈페이지를 스크래핑할 수 있습니다.

http GET https://www.google.com

HTTPie는 명령줄에서 HTTP 요청을 정의할 수 있는 강력한 기능을 제공합니다. 따라서 필요에 따라 헤더, 쿼리 매개변수, 바디 등을 추가할 수 있습니다.

JSON 응답 처리하기

웹 페이지에서 JSON 형식의 데이터를 스크래핑해야 할 때가 있습니다. HTTPie는 이를 쉽게 처리할 수 있도록 지원합니다. 다음 명령은 JSON 응답을 스크래핑하는 방법을 보여줍니다.

http GET <URL> Accept:application/json

-A 또는 --accept 옵션을 사용하여 Accept 헤더를 설정하고, JSON 응답을 받을 수 있습니다.

인증 및 세션 관리하기

HTTPie를 사용하면 사용자 인증이 필요한 웹 사이트에 접근하거나 세션을 유지하는 것도 가능합니다. 다음과 같이 인증 정보를 지정하여 요청을 보낼 수 있습니다.

http --auth <USERNAME>:<PASSWORD> GET <URL>

또는 세션을 유지하기 위해 다음과 같이 세션 파일을 지정할 수도 있습니다.

http --session=<SESSION_FILE_PATH> GET <URL>

위와 같이 세션 파일을 지정하면, 이후에는 동일한 세션 정보를 사용하여 요청을 보낼 수 있습니다.

HTTPie를 사용하여 웹 스크래핑을 할 때는 해당 웹 서버의 이용 약관 및 로봇 배제 표준을 준수하는 것이 중요합니다. 또한, 저작권 및 개인정보 보호 등 법적 요구사항을 준수해야 합니다. 스크래핑할 웹 페이지의 소유자 또는 운영자와의 동의를 미리 얻는 것이 좋습니다.