vMix 녹화 화질이 떨어지거나 MOV 용량이 너무 클 때: 포맷별 용량 계산과 추천 세팅

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

vMix로 녹화하면 두 가지 중 하나에 걸립니다. MP4로 녹화하면 화질이 아쉽고, MOV(ProRes)로 녹화하면 한 시간에 수십 GB가 쌓입니다. 저도 오래 겪은 문제인데, 원인은 단순합니다. MP4는 "배포용"으로, MOV·AVI는 "편집용 마스터"로 설계된 포맷이라서 하나로 둘 다 잡으려고 하면 어느 한쪽이 무너집니다.

결론부터 정리하면 이렇습니다.

• 유튜브 업로드·보관이 목적이면 MP4를 쓰되, 비트레이트를 1080p30 기준 25 Mbps, 1080p60 기준 35~50 Mbps로 올리고 하드웨어 인코더 품질 프리셋을 높입니다. 한 시간에 11~22 GB 정도입니다.
• 편집이 목적이면 MOV ProRes 대신 vMix AVI로 녹화한 뒤 필요할 때만 ProRes로 변환합니다. 용량은 비슷하지만 녹화 중 CPU 부담이 훨씬 적습니다.
• 둘 다 필요하면 vMix 4K 에디션 이상에서 두 번째 레코더를 켜서 MP4와 마스터를 동시에 녹화합니다.

아래에서 왜 그런지, 각 포맷이 실제로 얼마나 차지하는지, 화질이 떨어지는 원인은 무엇인지 하나씩 정리하겠습니다.

1. 포맷별로 1시간에 얼마나 차지하나

용량은 코덱의 비트레이트로 정해집니다. 계산은 간단합니다. 1 Mbps로 1시간 녹화하면 약 0.45 GB입니다(1 Mbps × 3,600초 ÷ 8 ÷ 1,000). 이 숫자 하나만 기억하면 어떤 설정이든 용량을 미리 알 수 있습니다.

ProRes 수치는 Apple 백서의 1920×1080·29.97fps 기준 목표 데이터 레이트이고, 59.94fps면 두 배로 보면 됩니다. vMix AVI 수치는 vMix 공식 문서 기준입니다.

표를 보면 "MOV가 너무 크다"는 느낌의 정체가 보입니다. MOV는 그릇(컨테이너)일 뿐이고, 그 안에 든 ProRes·DNxHD 같은 편집용 코덱이 MP4의 5~10배 비트레이트를 씁니다. 편집 프로그램에서 가볍게 돌아가라고 일부러 압축을 덜 한 것이라, 용량이 큰 게 정상입니다.

2. MP4 녹화 화질이 떨어지는 원인 6가지

Recording Setup → MP4. 설치 직후 기본값은 8 Mbps, H264Baseline, Fault Tolerant 꺼짐입니다. 이 네 가지가 화질 저하의 출발점입니다.

MP4가 나쁜 포맷은 아닙니다. 설정 몇 개가 화질을 깎고 있을 가능성이 큽니다. 위에서부터 순서대로 확인해 보세요.

① 비트레이트가 낮다

가장 흔한 원인입니다. vMix는 HD 녹화에 25 Mbps를 권장하는데, 스트리밍 감각으로 6~8 Mbps를 넣어 두면 자막 가장자리와 어두운 배경에서 뭉개짐이 바로 보입니다. 녹화 파일은 인터넷으로 보내는 게 아니니 회선 눈치를 볼 필요가 없습니다. 1080p30이면 25 Mbps, 1080p60이나 움직임이 많은 영상이면 35~50 Mbps로 올리세요.

② 하드웨어 인코더 품질 프리셋이 기본값이다

Use Hardware Encoder를 켜고 NVIDIA 카드를 쓰면 품질 옵션에 **Low Latency HQ(기본)**와 P1~P7이 나옵니다. P7이 가장 높은 화질, P1이 가장 빠른 속도입니다. 녹화는 지연이 중요하지 않으니 P5~P7로 올려 보세요. 같은 비트레이트에서 화질이 눈에 띄게 좋아집니다. 다만 프리셋을 올리면 그래픽카드가 동시에 처리할 수 있는 인코딩 수가 줄어드니, 스트리밍과 녹화를 같이 할 때는 드롭 프레임이 생기지 않는지 확인하세요.

③ 프로파일이 Baseline이다

프로파일은 Baseline이 화질이 낮고 CPU를 덜 쓰며, Main이 더 높은 화질을 냅니다. GPU 인코딩에서는 High 프로파일도 고를 수 있는데, 같은 비트레이트에서 더 나은 화질을 줍니다. 녹화는 Main 이상으로 두세요.

④ 인터레이스 소스를 MP4로 녹화한다

vMix의 MP4 녹화는 인터레이스(1080i)를 지원하지 않습니다. 카메라나 스위처에서 1080i 59.94로 받아서 그대로 MP4로 녹화하면 가로줄(콤)이나 계단 현상이 생깁니다. 입력과 출력을 프로그레시브(1080p 29.97 또는 59.94)로 맞추는 게 먼저입니다. 무엇이 다른지는 1080i vs 1080p 정리 글에 있습니다.

⑤ 화질 저하가 아니라 드롭 프레임이다

"화질이 떨어진다"고 느끼는 것 중 상당수는 사실 프레임이 빠져서 뚝뚝 끊기는 것입니다. 그래픽카드가 느리거나 CPU가 포화됐거나 디스크가 쓰기 속도를 못 따라가면 생깁니다. vMix의 녹화 로그에 드롭 프레임이 기록되니, 녹화 후 로그부터 보세요. 대책은 녹화 드라이브를 SSD로 바꾸고, 녹화 중 다른 출력(NDI·SRT·멀티뷰)을 줄이고, 하드웨어 인코더로 CPU 부담을 넘기는 것입니다.

⑥ 출력 해상도·프레임레이트가 녹화와 다르다

녹화는 vMix 출력 설정(Settings → Display)의 해상도와 프레임레이트를 따릅니다. 출력이 720p면 아무리 비트레이트를 올려도 720p로 녹화됩니다. 녹화 프레임레이트는 Display 탭의 프레임레이트와 같게 맞추라고 공식 문서에도 적혀 있습니다. 출력 설정이 헷갈리면 vMix Output 설정 정리 글을 참고하세요.

3. MOV 용량이 부담이면: 편집 마스터는 vMix AVI로

Recording Setup → vMix AVI. 편집 마스터는 여기서 녹화하고 필요할 때 Media Converter로 ProRes로 바꿉니다.

편집용 마스터가 필요한데 ProRes MOV 용량이 부담이라면, 포맷을 바꾸는 것보다 역할을 바꾸는 쪽이 맞습니다.

**vMix AVI(vMix Video Codec)**는 vMix가 무료로 제공하는 녹화 코덱입니다. 특징은 세 가지입니다.

1. CPU를 거의 안 씁니다. vMix 측 테스트에서 4K 59.94p를 ProRes LT로 FFMPEG 녹화하면 i9 기준 CPU 68%를 썼지만, vMix AVI는 15%였습니다. 그래서 vMix 운영진도 "vMix AVI로 녹화한 뒤 ProRes가 필요하면 변환하라"고 권합니다.
2. 중간에 꺼져도 살아 있습니다. 정전이나 프로그램 종료 후에도 복구가 되는 포맷(Fault Tolerant)입니다.
3. 편집 PC에 vMix만 설치하면 됩니다. 라이선스나 활성화 없이 설치만 하면 프리미어, 베가스 같은 윈도우 편집 프로그램에서 바로 읽습니다. 맥으로 넘겨야 하면 vMix에 포함된 vMix Media Converter로 ProRes MOV로 바꾸면 됩니다.

용량은 1080p30에서 시간당 약 55 GB로 ProRes 422(약 66 GB)와 비슷합니다. 즉 용량을 줄이는 해법이 아니라, 같은 용량에서 녹화 부담을 줄이고 필요한 것만 ProRes로 꺼내 쓰는 해법입니다. 편집에 넘길 구간만 변환하면 보관 용량도 줄어듭니다.

편집용인데 용량을 더 줄여야 한다면 **MP4 50 Mbps(High 프로파일, P7)**도 현실적인 타협입니다. 한 번 더 인코딩되는 걸 감수하는 대신 시간당 22 GB면 됩니다. 컷 편집과 자막 작업 정도면 차이를 느끼기 어렵습니다.

4. 둘 다 필요하면 두 번째 레코더

Recording Setup 왼쪽 위 1·2 버튼이 두 번째 레코더입니다.

유튜브용 MP4도 필요하고 편집용 마스터도 필요하면, 녹화를 두 번 하지 말고 Second Recorder를 씁니다. vMix 4K 에디션 이상에서 Recording Setup 창의 2 버튼을 누르고 Enabled를 켜면, 첫 번째 녹화와 다른 포맷·코덱·오디오 소스로 동시에 녹화됩니다. 공식 문서도 "인터넷 배포용 저용량 녹화와 편집·보관용 고품질 마스터를 동시에"라는 용도를 예로 듭니다. 시작과 정지는 첫 번째 녹화와 같이 움직입니다.

5. 녹화가 중간에 깨지는 것도 막기

화질과 용량 다음으로 많이 당하는 게 녹화 파일이 열리지 않는 사고입니다. 일부 포맷은 녹화가 끝날 때까지 중요한 정보를 메모리에 들고 있다가 마지막에 쓰기 때문에, 중간에 꺼지면 파일 전체를 잃습니다.

MP4는 Fault Tolerant 옵션을 켜면 복구가 되지만, 공식 문서는 "모든 기기·프로그램에서 재생되지 않을 수 있으니 본 방송 전에 호환성을 테스트하라"고 못 박습니다. 어느 쪽이든 New File Every를 20~30분으로 두면, 사고가 나도 잃는 건 마지막 파일 하나뿐입니다. 파일은 이어 붙이기 쉽게 끊기므로 편집에 지장이 없습니다.

추천 세팅 정리

핵심 요약

• MP4 화질이 아쉬우면 비트레이트를 25 Mbps 이상으로 올리고, NVENC 프리셋을 P5~P7, 프로파일을 Main/High로 바꾸세요. 그래도 이상하면 녹화 로그에서 드롭 프레임부터 확인합니다.
• MP4는 인터레이스를 지원하지 않으니 1080i 소스는 프로그레시브로 바꿔서 녹화합니다.
• MOV가 큰 건 ProRes·DNxHD 같은 편집용 코덱 때문이고, 그게 정상입니다. 용량은 "비트레이트 × 0.45 = 시간당 GB"로 미리 계산하세요.
• 편집 마스터는 ProRes 직접 녹화보다 vMix AVI로 녹화하고 필요할 때 변환하는 쪽이 CPU 부담이 훨씬 적습니다.
• 녹화 파일이 깨지는 사고는 Fault Tolerant 포맷과 New File Every 20~30분으로 막습니다.

FAQ

Q1. 하드웨어 인코더(NVENC)로 녹화하면 소프트웨어(x264)보다 화질이 나쁜가요? 같은 낮은 비트레이트에서는 x264가 조금 유리하지만, 녹화처럼 25 Mbps 이상을 쓸 수 있는 상황에서는 차이를 보기 어렵습니다. 대신 CPU를 비워 두어 드롭 프레임을 막는 이점이 훨씬 큽니다. 녹화는 하드웨어 인코더를 기본으로 두세요.

Q2. 녹화 중 MP4 파일이 4 GB에서 끊깁니다. Windows 7의 MP4 녹화 제한입니다. Windows 10 이상에서는 제한이 없습니다. 그 외에 녹화 드라이브가 FAT32로 포맷돼 있어도 4 GB에서 끊기니, 외장 SSD는 NTFS나 exFAT으로 포맷하세요.

Q3. 스트리밍 품질 설정과 녹화 설정은 같이 움직이나요? 별개입니다. 스트리밍은 회선에 맞춰 6~8 Mbps로 두더라도, 녹화는 25 Mbps 이상으로 따로 설정할 수 있습니다. 둘 다 하드웨어 인코더를 쓰면 그래픽카드의 동시 인코딩 한도 안에 들어오는지만 확인하면 됩니다.

같은 세팅으로 해 봤는데 다른 결과가 나오거나, 더 좋은 조합이 있으면 Threads로 알려 주세요. 다음 글에 반영하겠습니다.

참고 자료: vMix User Guide – Recording Setup · Recommended Recording Settings · vMix Video Codec · Fault Tolerant Recordings · Second Recorder · Streaming Quality (NVENC 프리셋·프로파일) · vMix Forums – Highest and best recording settings · vMix Forums – Trouble recording in FFMPEG MOV (ProRes CPU 수치) · Apple ProRes White Paper (2022)