[ios] VideoToolbox 실시간 비디오 효과 및 필터링

22 Dec 2023

iOS 앱을 개발하다 보면 실시간 비디오 스트림에 사용자 지정 효과나 필터를 적용해야 하는 경우가 있습니다. 이러한 기능을 구현하기 위해 iOS에서는 VideoToolbox 프레임워크를 사용할 수 있습니다. VideoToolbox는 비디오 인코딩, 디코딩 및 처리와 관련된 기능을 제공하며, 서버 또는 디스크로부터 동영상을 실시간으로 읽고 처리할 수 있습니다.

VideoToolbox 개요

VideoToolbox는 iOS 및 macOS에서 제공되는 프레임워크로, 비디오 처리 및 압축 기능을 제공합니다. 이 프레임워크를 사용하면 비디오 스트림의 실시간 처리, 편집, 변환, 효과 적용 등 다양한 작업을 수행할 수 있습니다.

실시간 비디오 효과 및 필터링 구현

VideoToolbox를 사용하여 실시간 비디오에 효과와 필터를 적용하는 방법은 다음과 같습니다.

1. 비디오 캡처 세션 설정

먼저 AVCaptureSession를 사용하여 비디오를 캡처하고 세션을 설정합니다.

let captureSession = AVCaptureSession()
captureSession.beginConfiguration()
// 비디오 입력 추가
let videoDevice = AVCaptureDevice.default(for: .video)
let videoInput = try? AVCaptureDeviceInput(device: videoDevice!)
if captureSession.canAddInput(videoInput!) {
    captureSession.addInput(videoInput!)
}
// 비디오 출력 추가
let videoOutput = AVCaptureVideoDataOutput()
videoOutput.setSampleBufferDelegate(self, queue: DispatchQueue(label: "sample buffer delegate", qos: .userInteractive))
if captureSession.canAddOutput(videoOutput) {
    captureSession.addOutput(videoOutput)
}
captureSession.commitConfiguration()
captureSession.startRunning()

2. 비디오 프레임 처리

세션에서 캡처된 비디오 프레임은 AVCaptureVideoDataOutputSampleBufferDelegate에서 처리할 수 있습니다. 여기서 VideoToolbox를 사용하여 프레임에 효과 및 필터를 적용할 수 있습니다.

func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
    // CMSampleBuffer에서 비디오 데이터 추출
    if let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) {
        // 비디오 프레임에 효과 및 필터 적용
        // (VideoToolbox를 사용하여 비디오 처리)
    }
}

3. 비디오 효과 적용

VideoToolbox를 사용하여 실시간 비디오에 효과를 적용하려면 VTSession 및 VTCompressionSession을 사용하여 비디오 프레임을 처리해야 합니다.

예를 들어, 모나크 효과를 적용하고 싶다면 아래와 같이 수행할 수 있습니다.

let effectMonochromeFilter = CIFilter(name: "CIColorMonochrome")
effectMonochromeFilter?.setDefaults()
effectMonochromeFilter?.setValue(CIColor(red: 0.7, green: 0.7, blue: 0.7), forKey: kCIInputColorKey)
effectMonochromeFilter?.setValue(1.0, forKey: kCIInputIntensityKey)
let ciImage = CIImage(cvImageBuffer: pixelBuffer)
effectMonochromeFilter?.setValue(ciImage, forKey: kCIInputImageKey)
let outputImage = effectMonochromeFilter?.outputImage
// (outputImage를 VTCompressionSession를 사용하여 비디오 프레임에 적용)

결론

iOS 앱에서 VideoToolbox를 사용하여 실시간 비디오에 효과와 필터를 적용하는 방법을 살펴보았습니다. VideoToolbox를 활용하면 사용자 지정 비디오 효과 및 필터를 손쉽게 적용할 수 있으며, 더 나은 사용자 경험을 제공할 수 있습니다.

참고 문헌:

Apple Developer Documentation. “VideoToolbox Framework.” 링크