[ios] VideoToolbox를 사용한 프레임별 비디오 처리

22 Dec 2023

iOS 앱을 개발하는 경우, 비디오 프레임을 디코딩, 인코딩 또는 처리해야 할 때가 있습니다. 이때 VideoToolbox 프레임워크를 사용하면 비디오 프레임을 효율적으로 처리할 수 있습니다.

이 기술 블로그에서는 VideoToolbox 프레임워크를 사용하여 iOS 앱에서 비디오 프레임을 처리하는 방법을 살펴보겠습니다. 우리는 비디오 스트림에서 프레임을 추출하고, 이를 디코딩하여 화면에 표시하는 과정을 다룰 것입니다.

VideoToolbox란?

VideoToolbox는 iOS 및 macOS 용으로 제공되는 프레임워크로, 비디오의 하드웨어 가속 디코딩 및 인코딩, 비디오 프레임 처리 및 표시 등의 기능을 제공합니다. 이를 사용하면 시스템 리소스를 효율적으로 활용하여 비디오 처리 작업을 수행할 수 있습니다.

VideoToolbox를 사용한 프레임 처리

프레임 추출하기

우선 비디오 스트림으로부터 프레임을 추출해야 합니다. 이를 위해서 AVAsset 및 AVAssetReader 클래스를 사용하여 비디오 파일에서 프레임을 추출합니다.

let asset = AVAsset(url: videoURL)
let assetReader = try AVAssetReader(asset: asset)
let videoTrack = asset.tracks(withMediaType: .video).first

let outputSettings: [String: Any] = [
    (kCVPixelBufferPixelFormatTypeKey as String): kCVPixelFormatType_32ARGB
]

let assetReaderOutput = AVAssetReaderTrackOutput(track: videoTrack!, outputSettings: outputSettings)
assetReader.add(assetReaderOutput)
assetReader.startReading()

while let sampleBuffer = assetReaderOutput.copyNextSampleBuffer() {
    // 추출한 프레임에 대한 처리 수행
}

프레임 디코딩하기

추출한 프레임을 디코딩하여 화면에 표시하기 위해서는 VideoToolbox 프레임워크를 사용합니다. 이를 위해서 CMSampleBuffer에서 CVImageBuffer로 변환한 후 VTDecompressionSession을 사용하여 디코딩합니다.

guard let imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else {
    return
}

var formatDesc: CMVideoFormatDescription?
CMVideoFormatDescriptionCreateForImageBuffer(allocator: kCFAllocatorDefault, imageBuffer: imageBuffer, formatDescriptionOut: &formatDesc)

var decompressionSession: VTDecompressionSession?
VTDecompressionSessionCreate(
    allocator: kCFAllocatorDefault, 
    formatDescription: formatDesc!, 
    decoderSpecification: nil, 
    imageBufferAttributes: nil, 
    outputCallback: nil, 
    decompressionSessionOut: &decompressionSession
)

VTDecompressionSessionDecodeFrame(decompressionSession, sampleBuffer: sampleBuffer, flags: [], frameRefcon: nil, infoFlagsOut: nil)

이렇게 하면 VideoToolbox를 사용하여 프레임을 디코딩할 수 있습니다.

결론

VideoToolbox를 사용하면 iOS 앱에서 비디오 프레임을 효율적으로 처리할 수 있으며, 이는 사용자 경험을 향상시키는 데 도움이 될 것입니다. VideoToolbox 프레임워크의 다양한 기능을 활용하여 비디오 처리를 개선해 보세요.

내용에 대한 보다 자세한 정보는 VideoToolbox 프레임워크 공식 문서를 참조하십시오.