데이터 처리는 프로그래밍에서 중요한 작업 중 하나입니다. 다양한 데이터를 필터링하고 통계를 계산하는 작업은 데이터 분석 및 모델링에 핵심적인 역할을 합니다.

이러한 작업을 수행하기 위해 파이썬의 이터레이터(iterator)를 사용할 수 있습니다. 이터레이터는 데이터를 순차적으로 접근하고 처리하는 도구로써 매우 유용합니다. 이터레이터는 iter() 함수와 next() 함수를 사용하여 만들 수 있습니다.

데이터 필터링은 특정 조건을 만족하는 데이터만 선택하여 처리하는 작업입니다. 예를 들어, 숫자 데이터 중에서 짝수만 선택하거나, 문자열 데이터 중에서 특정 패턴을 갖는 문자열만 선택할 수 있습니다. 이러한 필터링 작업은 if 문을 사용하여 조건을 검사하고, 조건을 만족하는 경우에만 데이터를 반환하는 함수로 구현할 수 있습니다.

def filter_data(data, condition):
    for item in data:
        if condition(item):
            yield item

위의 예제 코드는 filter_data 함수를 정의하는 예제입니다. 이 함수는 data라는 이터레이터를 받고, condition이라는 조건 함수를 적용하여 조건을 만족하는 데이터를 yield 키워드를 사용하여 하나씩 반환합니다.

통계 처리는 데이터의 특성을 분석하고 계산하는 작업입니다. 예를 들어, 숫자 데이터의 합계, 평균, 최대값, 최소값을 계산할 수 있습니다. 이러한 통계 처리 작업은 각 데이터를 반복적으로 접근하여 계산하고, 이전 결과와 결합하여 최종 결과를 도출할 수 있습니다.

def calculate_statistics(data):
    total = 0
    count = 0
    max_value = float('-inf')
    min_value = float('inf')

    for item in data:
        total += item
        count += 1
        max_value = max(max_value, item)
        min_value = min(min_value, item)

    if count == 0:
        return {'count': 0, 'total': 0, 'average': 0, 'max': None, 'min': None}

    average = total / count

    return {'count': count, 'total': total, 'average': average, 'max': max_value, 'min': min_value}

위의 예제 코드는 calculate_statistics 함수를 정의하는 예제입니다. 이 함수는 data라는 이터레이터를 받아서 데이터의 합계, 개수, 평균, 최대값, 최소값을 계산하여 딕셔너리 형태로 반환합니다.

이러한 방법을 사용하여 데이터 필터링 및 통계 처리를 쉽게 수행할 수 있습니다. 이터레이터를 사용하면 메모리 효율적인 처리를 할 수 있으며, 데이터의 크기나 형태에 대한 제약이 적습니다. 효율적인 데이터 처리를 위해 이터레이터를 적극적으로 활용해보세요.

#datafiltering #statisticsprocessing