본문으로 건너뛰기
시골프로그래머의 블로그
블로그 메뉴

영상에서 사람만 실시간으로 떼어 내는 별도 작업 프로세스 — LumiMatte

RobustVideoMatting(RVM)으로 영상 프레임에서 사람 영역을 잘라 내는 Windows용 작업 프로세스입니다. 공유 메모리로 프레임을 받고 알파 매트를 돌려줘, 배경 제거 기능을 붙이려는 프로그램에서 쓸 수 있습니다.

풀빛컴퓨팅2분 읽기#오픈소스#C++#인물 매팅#ONNX Runtime

화상 통화나 방송 프로그램에서 배경을 지우려면 프레임마다 사람이 어디 있는지 알아야 합니다. 이 일을 잘하는 공개 모델로 RobustVideoMatting(RVM)이 있습니다. 문제는 라이선스입니다. RVM은 GPL-3.0이라 코드를 프로그램에 직접 링크하면 그 프로그램 전체가 GPL을 따라야 합니다.

LumiMatte는 RVM 추론만 맡는 별도 프로세스입니다. 호스트 프로그램은 RVM 코드를 링크하지 않고, 공유 메모리와 이벤트로만 이 작업 프로세스와 데이터를 주고받습니다.

무엇을 하나

구분 내용
입력 호스트가 공유 메모리에 써 넣은 BGRA 영상 프레임
출력 프레임마다 알파 매트(float), 공유 메모리로 돌려줌
추론 RVM MobileNetV3 ONNX 모델, ONNX Runtime + DirectML(GPU)
통신 이름 붙인 공유 메모리 + 이름 붙인 이벤트

흐름은 단순합니다. 호스트가 통신 채널을 만들고 LumiMatte를 실행합니다. LumiMatte는 채널에 붙은 뒤 요청이 올 때마다 프레임 하나를 처리하고 끝났다고 알립니다. 종료 신호를 받으면 끝납니다.

어떻게 주고받나

matte_ipc.h에 공유 메모리 배치가 정해져 있습니다. 앞에 헤더가 있고, 그 뒤에 BGRA 프레임 영역과 알파 영역이 이어집니다. 프레임은 최대 1280×720입니다. 헤더에는 프로토콜 버전, 명령(프레임 처리·종료), 입력·출력 순번, 크기와 추론 설정이 들어갑니다. 이벤트 이름은 기본 이름 뒤에 _req, _resp, _ready, _shutdown을 붙여 만듭니다.

이 헤더에는 RVM 코드가 없고 픽셀 데이터와 숫자만 오갑니다. 호스트 쪽과 작업 프로세스 쪽이 같은 헤더를 씁니다.

실행 인자

보통은 호스트 프로그램이 자동으로 실행합니다. 직접 쓰는 도구는 아닙니다.

LumiMatte.exe <shm_base> <model_path> <use_dml:0|1> <infer_long> <downsample>
인자 뜻
shm_base 공유 메모리·이벤트 객체의 기본 이름 (예: Local\lumi_matte_1234)
model_path rvm_mobilenetv3_fp16.onnx 경로
use_dml 1은 DirectML(GPU), 0은 CPU
infer_long 추론 입력의 긴 변 픽셀 수 (예: 512)
downsample RVM downsample 비율 (예: 0.5)

빌드

onnxruntime-directml 1.24.4의 헤더와 라이브러리가 필요합니다.

cmake -S . -B build -DONNXRUNTIME_DIR=<path-to-onnxruntime-directml>
cmake --build build --config Release

ONNXRUNTIME_DIR 아래에 include/와 lib/(onnxruntime.lib, onnxruntime.dll)가 있어야 합니다. DirectML.dll은 Windows 11에 들어 있는 것을 씁니다.

알아 둘 점

  • 라이선스는 GPL-3.0입니다. RVM을 링크하므로 이 작업 프로세스 전체가 GPL-3.0입니다.
  • 학습된 모델 파일 rvm_mobilenetv3_fp16.onnx는 저장소의 Releases에 있고, RVM 프로젝트의 것이라 역시 GPL-3.0입니다. 소스는 GitHub 저장소에 있습니다.

함께 읽으면 좋은 글