[ios] CoreVideo 프레임워크를 활용한 실시간 화면 스트리밍

15 Dec 2023

iOS 앱에서 실시간으로 화면을 스트리밍하는 것은 매우 인기 있는 기능입니다. 사용자들이 앱 내에서 화면을 공유하거나 멀티미디어 콘텐츠를 다른 사용자들과 실시간으로 공유할 수 있게 해주는 기능은 앱의 사용성을 크게 향상시킬 수 있습니다.

이번에는 CoreVideo 프레임워크를 활용하여 iOS 앱 내에서 화면 스트리밍을 구현하는 방법에 대해 알아보겠습니다.

CoreVideo 프레임워크란?

CoreVideo는 macOS 및 iOS 운영 체제에서 비디오 프레임을 효율적으로 처리하기 위한 프레임워크입니다. CoreVideo를 사용하면 비디오 프레임의 내용을 직접 액세스하고 관리할 수 있어, 화면 스트리밍과 같은 실시간 비디오 처리에 적합한 도구를 제공합니다.

실시간 화면 스트리밍 구현하기

1. 화면 캡처

가장 먼저 지정된 화면 영역을 캡처해야 합니다. AVFoundation 프레임워크를 사용하여 화면을 캡처하고 CoreGraphics 프레임워크를 사용하여 그래픽 컨텍스트를 만들어 캡처한 이미지를 처리합니다.

이 과정을 통해 CVPixelBuffer로 변환된 이미지를 얻을 수 있습니다.

// Objective-C
- (CVPixelBufferRef)pixelBufferFromCGImage:(CGImageRef)image {
    NSDictionary *options = [NSDictionary dictionaryWithObjectsAndKeys:
                             [NSNumber numberWithBool:YES], kCVPixelBufferCGImageCompatibilityKey,
                             [NSNumber numberWithBool:YES], kCVPixelBufferCGBitmapContextCompatibilityKey, nil];
    CVPixelBufferRef pxbuffer = NULL;
    CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault, CGImageGetWidth(image),
                                          CGImageGetHeight(image), kCVPixelFormatType_32ARGB, (__bridge CFDictionaryRef) options, &pxbuffer);
    
    if (status != kCVReturnSuccess){
        return NULL;
    }
    
    CVPixelBufferLockBaseAddress(pxbuffer, 0);
    void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer);
    CGColorSpaceRef rgbColorSpace = CGColorSpaceCreateDeviceRGB();
    CGContextRef context = CGBitmapContextCreate(pxdata, CGImageGetWidth(image), CGImageGetHeight(image), 8,
                                                 CVPixelBufferGetBytesPerRow(pxbuffer), rgbColorSpace, kCGImageAlphaNoneSkipFirst | kCGBitmapByteOrder32Little);
    CGContextConcatCTM(context, CGAffineTransformMakeRotation(0));
    CGContextDrawImage(context, CGRectMake(0, 0, CGImageGetWidth(image), CGImageGetHeight(image)), image);
    
    CGColorSpaceRelease(rgbColorSpace);
    CGContextRelease(context);
    
    CVPixelBufferUnlockBaseAddress(pxbuffer, 0);
    
    return pxbuffer;
}

2. 화면 스트리밍

CoreVideo 프레임워크를 사용하여 얻은 CVPixelBuffer를 영상 인코딩을 통해 네트워크로 전송하면, 실시간으로 화면을 스트리밍할 수 있습니다. 이 부분은 선택한 비디오 인코딩 방식 및 네트워크 전송 방식에 따라 다양하게 구현될 수 있습니다.

CoreVideo의 기능을 활용하여 화면을 캡처하고 처리한 후, 적절한 비디오 인코딩 방식을 선택하여 데이터를 네트워크로 전송하면 iOS 앱에서 실시간 화면 스트리밍을 구현할 수 있습니다.

화면 스트리밍 앱의 경우 더 많은 기능이 필요할 수 있으며, 실시간 통신 및 오디오 처리와 같은 추가 동작을 위해 CoreMedia 및 CoreAudio 프레임워크도 함께 사용될 수 있습니다.

더 많은 기능을 추가하거나 세부 구현 방법에 대해서는 해당 앱의 요구 사항과 목적에 따라 달라질 수 있습니다. 여기서는 기본적인 화면 캡처 및 스트리밍 기능에 대한 예시를 살펴보았습니다.

CoreVideo 프레임워크를 활용하여 iOS 앱에서 실시간 화면 스트리밍을 구현하는 방법에 대해 간략히 알아보았습니다. 이를 통해 사용자들은 앱 내에서의 화면 공유 및 멀티미디어 콘텐츠의 실시간 공유 등을 통해 더욱 향상된 사용자 경험을 제공할 수 있을 것입니다.

CoreVideo 프레임워크란?

실시간 화면 스트리밍 구현하기

1. 화면 캡처

2. 화면 스트리밍

참고 자료