[java] Vaadin을 사용한 웹 크롤러 개발

29 Nov 2023

java

지난 글에서는 JavaScript를 사용한 웹 크롤링에 대해 알아보았습니다. 이번에는 Java 언어에서 Vaadin 프레임워크를 이용하여 웹 크롤러를 개발하는 방법에 대해 알아보겠습니다.

1. Vaadin 소개

Vaadin은 Java로 웹 애플리케이션을 개발할 수 있는 오픈 소스 프레임워크입니다. Vaadin을 통해 사용자 인터페이스를 구축하고 데이터를 처리할 수 있습니다. Vaadin은 서버 사이드에서 데이터 처리가 이루어지기 때문에 웹 크롤링에 용이한 환경을 제공합니다.

2. 웹 크롤러 개발하기

아래의 코드는 Vaadin을 사용하여 간단한 웹 크롤러를 개발하는 예시입니다.

import com.vaadin.annotations.Theme;
import com.vaadin.annotations.Title;
import com.vaadin.server.VaadinRequest;
import com.vaadin.spring.annotation.SpringUI;
import com.vaadin.ui.Button;
import com.vaadin.ui.Label;
import com.vaadin.ui.TextField;
import com.vaadin.ui.UI;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

@SpringUI
@Title("Web Crawler")
@Theme("valo")
public class WebCrawlerUI extends UI {
    private TextField urlTextField;
    private Label resultLabel;

    @Override
    protected void init(VaadinRequest request) {
        urlTextField = new TextField("URL");
        resultLabel = new Label();

        Button crawlButton = new Button("Crawl");
        crawlButton.addClickListener(e -> {
            String url = urlTextField.getValue();

            try {
                Document document = Jsoup.connect(url).get();
                Elements titleElements = document.select("title");
                String title = titleElements.get(0).text();
                resultLabel.setValue("Title: " + title);
            } catch (Exception ex) {
                resultLabel.setValue("Error: " + ex.getMessage());
            }
        });

        setContent(urlTextField, crawlButton, resultLabel);
    }
}

위 코드는 WebCrawlerUI 클래스에서 Vaadin의 UI 클래스를 상속받아 웹 애플리케이션을 구성하는 예시입니다.

init 메서드에서는 UI 구성 요소들인 urlTextField, resultLabel, crawlButton을 생성하고, crawlButton의 클릭 이벤트 처리를 정의합니다. 클릭 이벤트 발생 시 입력된 URL을 이용하여 Jsoup을 사용하여 웹 페이지를 크롤링하고, 결과를 resultLabel에 표시합니다.

3. 실행 및 사용법

위의 코드를 실행하려면 Vaadin과 Jsoup의 의존성을 프로젝트에 추가해야합니다. 자세한 내용은 각 프레임워크의 공식 문서를 참조하시기 바랍니다.

실행 후 브라우저에서 http://localhost:8080을 열고 URL을 입력한 뒤 Crawl 버튼을 클릭하면 해당 웹 페이지의 타이틀이 출력됩니다.

4. 마무리

Vaadin을 사용하면 Java로 웹 크롤러를 개발할 수 있습니다. Vaadin은 사용자 인터페이스 작성과 데이터 처리를 쉽게 할 수 있는 강력한 도구입니다. 추가적으로 Vaadin의 다양한 기능과 문서를 참고하여 더욱 세부적인 웹 크롤러를 개발할 수도 있습니다.

참고 문서: