플레이트 캡처+ 컨폼

넷플릭스는 버추얼 프로덕션 방법론에 대한 유익한 인사이트를 제공하기 위해 여러 학습 영상과 모듈을 제작했습니다.

 

카메라+캡처 포맷

넷플릭스에서 승인된 카메라 목록

넷플릭스는 전 세계 회원들에게 최고 수준의 이미지 정확도와 품질을 제공하는 데 전념하고 있습니다. 이를 위해 넷플릭스 오리지널 프로덕션에서 사용할 승인 카메라 목록을 신중하게 큐레이팅해 왔습니다. 이들 '승인 카메라'는 제조사와의 파트너십을 통해 넷플릭스 내부 평가를 거쳤으며, 아래 열거한 구체적 사양에 부합하는 장비입니다. 넷플릭스는 승인 카메라의 요건을 결정하는 과정에서 콘텐츠 창작 커뮤니티와 긴밀히 협업하며, ASC(미국촬영감독협회, American Society of Cinematographers), BSC(영국촬영감독협회, British Society of Cinematographers), AMPAS(영화예술과학아카데미, Academy of Motion Picture Arts and Sciences) 등 세계적으로 인정받는 기관의 지침 및 광범위한 업계 경험에 기초해 기본적인 충족 수준을 설정합니다. 해당 기본 요건은 본인의 역량과 산업 전체의 발전을 희망하는 실무 전문가의 의견 및 바람을 종합하여 설정되었으며, 창작자가 기술적 한계에 제한받지 않고 최고의 작품을 만들 수 있도록 돕는 한편, 고품질의 아카이브 애셋을 통해 이후 세대에도 지금까지의 기술적인 발전이 지속적으로 보존될 수 있도록 합니다.

 

캡처 사양

버추얼 프로덕션 환경 또는 포스트 VFX 단계에서 LED 월에 사용할 플레이트를 캡처할 경우, 언제나 넷플릭스 승인 카메라를 사용할 것을 권장합니다. 넷플릭스 승인 카메라를 사용하면 최고의 품질을 구현하고 버추얼 프로덕션용 콘텐츠를 캡처 및 보정하는 과정을 최대한 원활하게 진행할 수 있습니다. 넷플릭스는 예산, 기술적 또는 제반 사항 등의 이유로 승인 카메라를 사용하기 어려울 수 있다는 점을 인지하고 있습니다. 대표적으로 공중 또는 드론 플레이트 캡처 작업을 예로 들 수 있습니다. 이 경우 카메라 크기 및 무게를 최소화하는 것이 무엇보다 중요하기 때문에 많은 경우에 승인 카메라 목록에 포함되지 않은 카메라를 선택하게 될 수 있습니다. 이에 따라 카메라 선택 시 최선의 절충안을 선택하고 타협점을 파악할 수 있도록 사양과 관련한 정보를 정리했습니다. 모든 요건을 충족하기 위해 카메라 부서와 플레이트 슈퍼바이저가 해당 내용을 검토하도록 합니다.

 

색 정밀도

• 10-bit 4:2:2 크로마 서브샘플링(chroma subsampling) 또는 그 이상.
  • 이미지 비트 심도가 낮으면 밴딩(banding)/급격한 톤 변화(posterization) 등의 아티팩트가 발생할 확률이 높으며, 일반적인 보정 작업 중에 금세 이미지 열화가 발생합니다.

낮은 비트 심도 캡처로 인해 점진적인 그라데이션 부분에 밴딩 현상이 나타남

• 크로마 서브샘플링은 스캔라인(scanline)당 크로마 샘플링을 줄여 색 해상도를 낮춥니다. 크로마 서브샘플링(chroma subsampling) 때문에 발생하는 이미지 품질 저하는 급격한 색 변화가 일어나는 가장자리 근처에서 가장 흔하게 볼 수 있으며, 이로 인해 이미지의 채도가 낮아집니다.
• 참고 사항: LED 월에 재생되는 콘텐츠에 높은 수준의 시각 효과 및 합성 작업이 필요하다면, RAW 또는 무압축 포맷 영상 캡처 방식을 진지하게 고려해야 합니다. 낮은 크로마 서브샘플링(chroma subsampling)은 CG 렌더링 콘텐츠와 합성 시 곧바로 문제가 발생할 수 있습니다.
  

 

녹화 포맷(Record Format)

• RAW 또는 장면 참조 이미지 데이터
  • 로그 인코딩은 노출 코드 값을 재분배해 제한된 비트 심도 포맷에서 섀도우와 하이라이트 부분의 디테일을 더 효과적으로 보존합니다.
  • RAW는 일반적으로 최소한으로 처리된 프리-디베이어 센서 데이터로 정의됩니다.
  • 캡처한 색 공간/색역은 디스플레이가 아니라 씬을 참조해야 합니다. 예를 들면 REDWideGamutRGB/Log3G10, S-Gamut3/S-Log3, ALEXA Wide Gamut/Log C 또는 V-Gamut/V-Log 등입니다.
    

 

• RAW 또는 무압축 이미지 캡처를 사용할 수 없다면, ALL-Intra, XF-AVC, XAVC 등 가볍게 인코딩된 인트라프레임(intra-frame) 기반 코덱을 추천합니다.
  • 인트라프레임 압축은 각 프레임을 개별적으로 분석 및 압축합니다.
  • 인터프레임(interframe) 압축 방식은 각 프레임 사이에서 변경되는 정보만을 보존하기 위해 2개 이상의 연속된 프레임을 분석합니다. 이 경우 데이터 전송 속도(data rate)가 줄어드는 이점이 있지만, 눈에 보이는 아티팩트가 발생할 가능성이 매우 높기 때문에 승인된 캡처 포맷은 아닙니다.
    

 

DATA RATE

• 캡처의 프레임 레이트 24FPS 기준 최소 데이터 기록 속도는 240Mbps(초당 메가비트) 또는 30MB/s(초당 메가바이트)입니다. 이는 프레임당 ~10Mb에 상응합니다. 프레임 레이트가 증가하면 최소 데이터 전송 속도 또한 증가합니다. 예를 들어 30FPS로 캡처한다면 최소 데이터 전송 속도는 ~300Mbps가 됩니다.
  • 특정 코덱의 경우 최소 데이터 전송 속도를 필요로 합니다. 예를 들어 24FPS, 3840x2160 영상의 경우, ProRes 422 HQ의 데이터 전송 속도는 704Mbps입니다. 이는 넷플릭스의 최소 요건을 훨씬 상회하는 수치로 사용이 허용됩니다.
  • 데이터 전송 속도가 낮으면 압축 방식에 영향을 주며, 매크로블로킹(macroblocking) 등의 원치 않는 이미지 아티팩트가 발생하게 됩니다.
    

 

낮은 대역폭의 이미지 압축으로 발생한 매크로블로킹(macroblocking)의 예시

 

해상도

• 사용하는 각각의 카메라(멀티-카메라 배열)는 최소 3840 x 2160의 활성 포토사이트를 보유해야 합니다.
  • 콘텐츠의 업스케일링은 지양하시기 바랍니다. 캡처 해상도는 의도한 LED 월의 해상도와 일치해야 하며, 픽셀 매핑을 워프(warp)하거나 재투영할 때 추가 업스케일링이 필요하지 않도록 LED 월 캔버스 최대 높이의 약 25%를 더해 설정해야 합니다.
  • 구면 렌즈(일반 및 어안 렌즈)로 캡처할 것을 강력히 권장합니다. 애너모픽 렌즈는 피하는 것이 좋습니다. 다른 옵션을 고려하고 있다면 넷플릭스에 직접 문의하시기 바랍니다.
  • 이러한 작업 환경의 경우, 카메라 배열(Array)을 사용하는 것이 일반적이지만 필수는 아닙니다. 카메라 선택 시에는 넷플릭스의 승인 카메라 목록을 참고하시기 바랍니다.
  • 정방형 픽셀 종횡비(Square pixel aspect ratio).
    

 

센서 판독 속도(Sensor Readout Speed)

• 플레이트를 캡처할 때는 카메라 센서의 활성 판독(readout) 속도가 ~18ms 이하여야만 왜곡 현상(skew) 등의 롤링 셔터(rolling shutter) 아티팩트를 방지할 수 있습니다. 글로벌 셔터 센서(global shutter sensor)는 롤링 셔터 아티팩트를 방지하며, 특정한 상황에서 장점을 발휘합니다.
  • 센서의 판독(readout) 속도를 셔터 속도, 셔터 앵글 또는 노출 시간과 혼동하면 안 됩니다. 센서 판독 속도는 롤링 셔터 아티팩트의 정도에 영향을 미칩니다. 판독 속도가 길어질수록 젤로(jello)/왜곡(skew) 등의 롤링 셔터 아티팩트 발생도 증가합니다. 일반적인 표준 롤링 셔터 기반 CMOS 센서 디자인은 대부분 세로 해상도 증가에 따라 판독 시간이 늘어납니다.
  • 넷플릭스의 모든 승인된 카메라는 넷플릭스가 추천하는 최소 판독 속도인 ~18ms 이상을 캡처 설정으로 사용할 수 있습니다.

 

롤링 셔터 아티팩트 예시 - 왜곡(skew)

 

 

 

카메라 배열(array) 구성

멀티 카메라 배열(array)의 사용은 필수가 아닙니다. VFX 플레이트는 많은 경우에 단일 카메라 시스템으로도 캡처가 가능합니다. 각 타이틀에는 작품만의 고유한 요건이 있으므로 캡처 사양은 이에 따라 조정해야 합니다. 멀티 카메라 배열의 필요 여부와 필요한 시점에 따라 다양한 기술적 사항을 고려해야 하며 이를 토대로 최적의 카메라와 렌즈, 그리고 적절한 설정이 달라집니다. 플레이트 슈퍼바이저, 버추얼 프로덕션 슈퍼바이저, VFX 슈퍼바이저, 촬영감독과 필요 사항을 논의하시기 바랍니다.

 

표준 카메라 배열(array) 예시

다음 목록은 멀티 카메라 배열의 몇 가지 예시입니다.

• 9x 카메라
  • 일반적으로 자동차 앞유리에 마운트하는 전향(front-facing) 카메라 3대
  • 자동차 뒷유리에 마운트하는 후향(back-facing) 카메라 5대
  • 자동차 후드에 마운트하는 상향(facing upwards) 카메라 1대(보통은 반사를 위해 사용)
    
• 7x 카메라
  • 일반적으로 자동차 앞유리에 마운트하는 전향(front-facing) 카메라 3대
  • 자동차 뒷유리에 마운트하는 후향(back-facing) 카메라 3대
  • 자동차 후드에 마운트하는 상향(facing upwards) 카메라 1대(보통은 반사를 위해 사용)
    
• 4x 카메라
  • 일반적으로 자동차 앞유리에 마운트하는 전향(front-facing) 카메라 3대
  • 자동차 후드에 마운트하는 상향(facing upwards) 카메라 1대(보통은 반사를 위해 사용)
    
• 일반적으로 자동차 앞유리에 마운트하는 전향(front-facing) 카메라 3대

카메라 오버랩(overlap, 화각이 중복되는 부분) 요건

여러 플레이트를 결합한 플레이트의 경우, 최소 25도의 화각(FOV, field of view) 오버랩이 필요합니다.

각 카메라의 화각이 30% 정도 오버랩되는 구성을 고려합니다. 카메라 배열(array)을 구성할 때는 사용 중인 렌즈 및 카메라 위치를 고려해 의도한 오버랩을 구현합니다.

가장 가까이 있는 카메라에 대한 각 카메라의 적합한 회전 방향 및 정도는 카메라의 물리적 크기, 활성 센서 영역, 렌즈에 따라 달라집니다.

오버랩은 왜 필요한가요?

카메라 배열 구성 시 카메라 간에 화각(FOV) 오버랩이 없으면 이미지를 결합 작업에 어려움이 발생합니다. 이 경우 각 프레임에서 렌즈 왜곡 특성을 제거하고 나면 시계 내에 눈에 띄게 큰 공백이 생길 수 있습니다. 캡처 범위 내에 공백이 발생하는 문제를 피하고 카메라 정렬상의 미세한 오류를 방지하려면, 충분한 영역을 오버랩하는 것이 중요합니다. 이는 콘텐츠를 준비하는 서비스 제공자/업체가 멀티 카메라 배열을 통해 캡처한 플레이트를 결합할 때 작업 과정을 훨씬 매끄럽게 합니다.

 

카메라 간의 화각 오버랩을 늘릴 경우 카메라 배열(array) 구성에 카메라가 추가로 필요할 수 있습니다. 또한 더 넓은 화각을 가진 광각 렌즈를 사용하거나 배열(array) 구성에서 카메라 각각의 위치/각도를 조정해야 할 수도 있습니다.

카메라 배열(array)은 작업 중인 프로덕션에서 현재 필요로 하는 사항에 맞춰 무수히 많은 방식으로 구성이 가능합니다. 아래 이미지들은 과거 넷플릭스 프로덕션에서 사용한 고도의 솔루션으로, 다양한 맞춤 구성의 예시입니다.

 

구성 예시

카메라 배열(array)의 적절한 리깅 구성을 설계/선택할 때에는 다음의 예시를 고려하시기 바랍니다.

• 주행 플레이트(driving plate) 리깅 갤러리
• BROWNIAN 모션
• Radiant Images - AXA 카메라 배열(array)
• Radiant Images - AXA 차량 마운트 구성
• Radiant Images - Sense 9x 카메라 배열(array)  

플레이트 밴(plate van) 예시

사진 출처: RED

 

사진 출처: RED

 

사진 출처: RED

 

사진 출처: RED

배열에 어안 렌즈 사용

단일 카메라 플레이트 캡처 및 배열 시스템의 경우, 역사적으로 어안 렌즈 사용을 지양해 왔습니다. 이는 주로 프레임 가장자리에서 발생하는 극심한 렌즈 수차와 렌즈의 기하학적 왜곡을 보정할 때 생기는 아티팩트 때문이었습니다. 그럼에도 불구하고 플레이트 캡처 제공업체는 지속적으로 어안 렌즈에 관심을 보여 왔는데, 이는 어안 렌즈가 넓은 화각을 보유한 덕에 플레이트 결합 작업이 아예 필요가 없거나 배열에 사용되는 카메라의 수를 최소한으로 줄이는 데 도움이 되기 때문입니다(280º 어안 렌즈를 장착한 2대의 카메라로 전체 360º 플레이트를 제공할 수 있음). 게다가 오늘날 카메라의 기본 해상도가 4K를 넘어섰고, 스케일링 알고리즘이 발전함에 따라 이제 어안 렌즈도 플레이트 캡처에 활용할 수 있는 옵션으로 고려되고 있습니다. 하지만 어안 렌즈 설정에는 몇 가지 한계가 있습니다. 표준 구면 렌즈를 사용하는 멀티 카메라 배열의 경우, 각 카메라가 다른 시점과 피봇 포인트를 제공하는 이점을 누릴 수 있습니다. 어안 렌즈를 장착한 단일 카메라의 픽셀 매핑을 수행할 경우, 플레이트를 캡처한 곳과 다른 공간에서 카메라의 위치를 구현할 시 카메라의 시점이 하나로 제한됩니다. 반면에 배열에 여러 개의 카메라를 사용하면 위에서 언급한 대로 고해상도 플레이트를 결합해야 하는 복잡성이 추가되지만, 보다 나은 가상 시점을 제공할 수 있습니다.

 

 

캡처 프레임 레이트

플레이트 캡처 시, 작업 중인 타이틀의 프레임 레이트와 동일하거나 그 이상의 프레임 레이트로 캡처할 것을 권장합니다. 예를 들어, 프로덕션이 23.976FPS로 촬영될 예정이라면 플레이트도 23.976FPS로 캡처해야 합니다. 이 원칙은 25FPS, 29.97FPS 등 다른 프레임 레이트에도 동일하게 적용됩니다. 촬영 프레임 레이트의 배수로 캡처하는 것도 가능하며, 이를 통해 최종 모션 블러를 조절할 수 있습니다. 자세한 내용은 아래 '고속 프레임 레이트' 섹션을 참조하시기 바랍니다.

 

프레임 레이트는 왜 중요한가요?

프레임 레이트 변환 시에는 모션 보간(motion interpolation, 아래 이미지 참고)이 필요한데, 이 경우 영상의 품질이 떨어져 보기 흉한 모션 아티팩트를 유발하는 경우가 많습니다. 쉽게 설명하자면, 모션 보간은 캡처된 프레임 사이에서 누락된 이미지 데이터를 계산하기 위해 복잡한 알고리즘이 필요합니다. 이는 절대 완벽하게 계산할 수 없기 때문에 가능한 한 지양해야 합니다.

 

 

프레임 레이트를 일치시키면 플레이트에 풀다운(pulldown) 등의 다운스트림 보간을 적용할 필요성이 제한됩니다. 프로덕션과 논의를 거쳐 작업 중인 타이틀에 적합한 캡처 프레임 레이트를 확인하시기 바랍니다.

고속 프레임 레이트

ICVFX용 플레이트 촬영 시, 작업 중인 타이틀에서 의도한 프레임 레이트의 2배 또는 3배의 속도로 플레이트를 캡처 및 재생하는 것이 좋을 수 있습니다. 이 경우 LED 볼륨에서 보다 현실적인 모션 블러를 재현할 수 있지만, 플레이트 재생 시스템의 부하가 증가할 수 있습니다. 시스템의 재생 성능을 확인하려면 LED 월 제공업체에 문의하시기 바랍니다.

 

 

노출/조명 일치

플레이트를 캡처할 때에는 가능한 한 넓은 다이내믹 레인지를 기록하고 씬 데이터를 보존하는 것이 무엇보다 중요합니다.

 

 

해상도 일치

플레이트의 캡처 해상도는 LED 월의 해상도와 같거나 그보다 높아야 합니다. LED 월 환경에 출력할 경우 업스케일링은 피하는 것이 좋습니다. 부적합한 업스케일링은 디스플레이 전반에 보기 흉한 에일리어싱 아티팩트를 유발할 수 있습니다(아래를 참조하시기 바랍니다).

사용하는 각 카메라(멀티 카메라 배열(array) 또는 기타 구성 포함)의 활성 포토사이트 수는 최소 3840x2160이어야 하며, 플레이트 결합 시 플레이트의 최종 해상도는 픽셀 매핑의 워프(warp) 또는 투영을 위해 LED 월 캔버스의 최대 높이보다 약 25% 정도 더 커야 합니다. 해당 요건을 충족할 경우 LED 월 환경에 출력 시 업스케일링이 필요하지 않습니다.

• 캡처 시에는 렌즈의 왜곡 및 수차 문제가 발생하는 것을 줄이기 위해 구면 렌즈를 사용할 것을 강력히 권장합니다. 자세한 내용은 넷플릭스에 직접 문의하시기 바랍니다.
• 카메라 배열은 플레이트 캡처 시 흔하게 사용되는 기법입니다. 카메라를 선택할 때에는 넷플릭스의 승인된 카메라 목록을 참조하시기 바랍니다.

낮은 해상도로 캡처할 시 에일리어싱(aliasing)/모아레(Moire) 패턴이 발생할 수 있습니다.

에일리어싱/모아레 아티팩트 예시

 

-

에일리어싱/모아레 아티팩트 예시

 

 

시점 일치

카메라를 포지셔닝할 때는 시점을 고려해야 합니다. 카메라 앵글은 어떤지, 카메라가 바닥에서 어느 정도 높이에 위치하는지, 어떤 렌즈를 사용 중인지, 해당 렌즈는 왜곡 발생이 상대적으로 덜한지, 플레이트의 시점이 촬영감독의 크레에이티브적 의도와 충돌하지는 않는지 등을 고려할 필요가 있습니다. 이러한 문제를 피할 수 있도록 반드시 사전 작업을 통해 조율하시기 바랍니다.

 

시점은 왜 중요한가요?

시점이 일치하지 않으면 현장 작업자뿐만 아니라 사용자가 콘텐츠를 시청할 때에도 문제가 발생합니다. 촬영감독이 로우 앵글 샷을 의도했음에도 불구하고 하이 앵글로 캡처된 플레이트를 사용한다고 상상해 보시기 바랍니다. 이러한 시점 불일치는 씬 전체를 망가뜨릴 수 있습니다.

특히 차량 프로세스 작업의 경우, 카메라가 마운트된 높이에 신경을 써야 합니다. 카메라가 (자동차의 낮은 쪽 후드가 아닌) 자동차 루프에 마운트되었다면, 이 차량을 타고 이동하는 인물의 시점에서 캡처하기에는 너무 높을 수 있습니다. 시점과 앵글이 잘못된 경우, 콘텐츠 제공업체 VFX팀에서 이를 수정하기가 매우 어렵습니다.

 

예: 로우 앵글에 맞는 적절한 시점을 구현하기 위해 자동차 앞에 배치된 카메라 바디

 

렌즈 왜곡은 무엇이며, 왜 피해야 하나요?

아래 이미지를 참고하시기 바랍니다. 왼쪽의 정방형 그리드는 왜곡이 없는 현실의 ‘사물’을 나타냅니다. 가운데와 오른쪽의 두 그리드는 렌즈를 통해 ‘사물’을 봤을 때 발생하는 왜곡의 종류를 보여줍니다.

 

완벽한 렌즈는 없습니다. 시장에 나와 있는 렌즈는 모두 어떤 형태로든 약간의 왜곡이 발생합니다. 그러나 일부 렌즈는 다른 렌즈보다 성능이 뛰어납니다. 예를 들어 장초점 렌즈(망원 렌즈)는 단초점 렌즈(광각렌즈)보다 왜곡이 적습니다. 

 

“왜곡이 항상 부정적인 요소인가?”라고 묻는다면, 반드시 그렇지는 않습니다. 사실 많은 촬영감독이 각 렌즈의 독특한 왜곡 특성과 미묘한 불완전함이 이미지에 구현되는 방식을 고려해 렌즈를 선택합니다. 그러나 LED 월에 사용할 VFX 플레이트 캡처 작업에서는 왜곡을 최대한 피해야 합니다. 적합한 렌즈를 사용 중인지 확인할 수 있도록 촬영감독 및 VFX팀과 렌즈 선택에 관해 논의하시기 바랍니다. 많은 렌즈가 Cooke /i Technology, ZEISS eXtended Data, ARRI LDS 등 널리 사용되는 커뮤니케이션 프로토콜을 활용해 조리개, 촬영 거리(focus distance), 초점 거리(focal length), 셰이딩/왜곡 등의 중요한 정보를 메타데이터 형태로 제공합니다. 해당 렌즈 메타데이터를 수집하고 보존하면 VFX팀이 효율적이고 정확하게 작업을 하는 데 도움이 됩니다. 가능한 경우 렌즈 메타데이터를 활용할 것을 적극 권장합니다.

 

모션 케이던스(motion cadence) 일치

모션 케이던스와 관련해 다음 사항을 확인합니다. 플레이트의 피사체가 프레임에서 얼마나 빠른 속도로 움직이고 있습니까? 저더(모션 끊김) 현상이 발생했습니까? 모션의 속도가 해당 장면의 크리에이티브적 의도와 일치합니까? 예를 들어, 해당 차량이 거리를 달릴 때 주행 속도가 시속 200km로 보여야 합니까, 50km로 보여야 합니까? 플레이트의 셔터 스피드가 프로젝트에서 의도한 설정과 일치합니까? 모션 블러(blur)가 장면의 다른 요소와 비교했을 때 자연스럽습니까? 롤링 셔터 아티팩트가 발생했습니까? 이미지가 한 방향으로 왜곡(skew)되어 보입니까?

 

왜 모션의 특성을 고려해야 하나요?

저더(모션 끊김 현상)

피사체가 프레임에서 너무 빠른 속도로 움직이면 저더(모션 끊김) 현상이 발생할 수 있습니다. 저더 현상은 시청 시 상당히 눈에 거슬리는 아티팩트로, 카메라를 너무 빠르게 패닝하면 발생하는 것으로 잘 알려져 있습니다. 만약 저더 현상이 발생한다면 플레이트 캡처 시 프레임에서 대상이 이동하는 속도를 늦춰야 합니다.

저더(모션 끊김 현상) 예시

 

모션 블러

관객은 영상 속 모션 블러(motion blur)에 이미 일정 수준 익숙해져 있지만, 배경과 전경 요소의 블러 정도가 일치하지 않을 경우 부자연스럽게 보여 시청자가 알아차릴 가능성이 높습니다. 이를 고려해 셔터 스피드를 프로젝트와 일치시키는 것이 좋습니다. 디지털 작업으로 모션 블러를 추가하는 일은 상대적으로 간단하지만, 제거하는 작업은 매우 어렵다는 점을 기억해 주시기 바랍니다.

다양한 정도의 모션 블러

 

롤링 셔터 아티팩트

대부분의 최신 디지털 시네마 카메라는 롤링 셔터 방식의 CMOS 센서를 사용합니다. 플레이트 캡처에 사용하는 카메라에도 롤링 셔터가 장착되어 있을 가능성이 높습니다. 롤링 셔터 설계로 인해, 피사체가 프레임에서 너무 빠르게 움직일 경우 왜곡(skew) 등의 아티팩트가 발생할 수 있습니다. 촬영 시 이를 염두에 두고 가능한 한 이러한 아티팩트를 예방하시기 바랍니다. 센서 데이터를 한 줄씩 순차적으로 읽는 롤링 셔터 기반 센서와 달리, 글로벌 셔터 센서는 특정 프레임의 모든 데이터를 동시에 읽어내기 때문에 이러한 문제가 발생하지 않습니다.

 

롤링 셔터 아티팩트 예시 - 왜곡(skew)

 

 

 

영상 흔들림 보정(Image Stabilization)

플레이트를 캡처할 때에는 적절하게 흔들림을 보정하는 것이 매우 중요합니다. 흔들린 영상을 포스트 프로덕션 단계에서 보정할 경우 많은 양의 처리 작업이 필요할 수 있습니다. 이는 시간과 비용이 많이 드는 데다, 디지털 흔들림 보정 작업에는 일반적으로 이미지 크롭(crop)이 필요하기 때문에 캡처 해상도가 저하됩니다. 카메라 시스템을 설정하고 캡처 포맷을 선택할 때 이 점을 꼭 염두에 두시기 바랍니다.

촬영하는 장면의 맥락도 고려해야 합니다. 정글에서 울퉁불퉁한 비포장도로를 달리는 장면인가요? 아니면 매끈한 포장도로를 따라 달리는 장면인가요? 상황에 따라 맥락에 맞게 서로 다른 움직임이 필요할 수 있습니다. 본격적인 의사 결정 단계에 들어가기 전에, 전체 장면 중 어느 부분에 플레이트가 어떻게 활용되는지 파악하는 것이 좋습니다.

 

 

피사계 심도 일관성

피사계 심도 불일치를 피하려면, 해당 장면을 사전에 확인해 촬영감독이 의도하는 피사계 심도에 맞게 조율해야 합니다. 플레이트가 현실감 있게 보이려면 플레이트의 아웃포커싱 부분 및 왜곡 특성(distortion characteristics)이 장면과 일치해야 합니다. 대부분의 상황에서는 깊은 피사계 심도(즉 모든 부분에 초점을 맞춰)로 플레이트를 캡처하길 권장합니다. 이렇게 하면 버추얼 프로덕션 팀이 블러 특성을 필요한 대로 조정할 수 있습니다.

스플릿 디옵터(split diopter)에서 의도적으로 피사계 심도를 불일치시킨 예시

 

 

 

결합(STITCHED) 플레이트용 센서 싱크

배열(array) 내에서 모든 카메라의 센서 싱크를 유지하는 것이 매우 중요합니다. 센서 싱크는 구성 내 각각의 센서가 이미지를 동시에 캡처하도록 해 시스템 사이의 프레임 불일치를 방지합니다. 배열에 사용하는 카메라 시스템에서 센서 싱크 기능을 제공하는지 확인하시기 바랍니다. 센서 싱크는 대부분 전용 젠록(genlock) 생성 디바이스의 젠록 입력을 통해 이루어집니다.

 

젠록 또는 센서 싱크를 왜 신경 써야 하나요?

여러 LED 월 패널에서 콘텐츠를 올바르게 재생하기 위해 젠록을 사용하는 것과 유사하게 복수의 카메라 시스템에서도 CMOS 센서의 판독/재설정 사이클을 싱크하기 위해 젠록을 사용할 수 있습니다. 센서를 싱크하지 않을 경우, 배열 내 각 카메라 시스템에 다양한 시간적 오프셋이 있는 상태로 프레임을 캡처하게 됩니다. 이러한 오프셋은 여러 시점에서 캡처된 이미지를 정렬하고 결합하는 과정에서 추가적인 VFX 작업을 초래할 수 있습니다. VFX 팀이나 콘텐츠 제공업체에 불필요하게 작업을 가중하지 마시기 바랍니다. 카메라에서 최대한 정확하게 이미지를 캡처해 팀원의 작업량을 줄여 주세요.

 

센서 싱크에 사용하는 젠록의 예시

사진 출처: RED Digital Cinema

 

 

 

참고 사항 및 메타데이터 수집

참고 사항 및 메타데이터 수집은 프로덕션의 필수 요소입니다. 배열 셋업과 카메라 설정, 차량 속도, 렌즈 설정의 세부적인 참고 사항을 캡처 과정 동안 기록해야 하며, 캡처한 영상과 함께 편집 및 VFX팀에 전달해야 합니다. 프로젝트에 따라 다르지만, 보통 VFX 데이터 매니저가 이 정보를 수집합니다. VFX 작업이 많은 작품의 경우, 데이터 수집은 (퍼스트 또는 세컨드 AC와 종종 긴밀히 협력하는) VFX 데이터 매니저가 담당합니다. VFX 데이터 매니저가 없다면 카메라 부서에서도 이 정보를 수집할 수 있습니다.

 

참고 사항/메타데이터 예시:

• 카메라 제조사/모델
• ISO
• 화이트 밸런스
• 셔터 스피드
• 프레임 레이트
• 해상도
• 코덱
• 색 공간
• 감마 곡선
• 렌즈 제조사/모델
• 렌즈 초점 거리(focal length)
• 렌즈 조리개
• 렌즈 촬영 거리(focus distance)
• 참고용 현장 사진
• 카메라 배치 - 바닥으로부터의 높이, 장면과의 거리, 각도
• 차량 속도
• 로케이션
• 시각(time of day)
• 태양 위치
  

 

 

 

컨폼 사양

LED 기반 버추얼 프로덕션의 컨폼, 컬러, 편집 요건의 세부 사항은 다양하고 복잡합니다. 이 사항들은 주행 장면 플레이트(driving plate)를 선택, 편집, 이어 붙이는 작업부터 스톡 영상 사용까지, 그리고 100% 컴퓨터로 생성한 그래픽까지 망라합니다. ‘하나로 모든 곳에 적용 가능한’ 사양은 없습니다. 다음 섹션은 프로덕션 및 공급업체가 촬영 계획과 제약 사항을 논의할 수 있는 출발점을 제시합니다.

 

출력 코덱

• 모든 코덱이 다양한 운영 체제, 다양한 소프트웨어 패키지, 다양한 그래픽 카드에서 똑같이 작동하도록 제작되지는 않으므로, 사용하는 재생 서버를 토대로 납품 코덱을 선택합니다.
• 최소 비트 심도가 10bit인 비디오 코덱을 선택하시기 바랍니다. 이는 밴딩 및 색 재현(color reproduction) 문제를 피하기 위해 모든 HDR 사양에 필수입니다. 압축 상태로 촬영할 경우 출력 코덱은 최소한 캡처 설정을 반영해야 합니다. RAW 영상으로 작업한다면 가장 높은 옵션을 반영해야 합니다.
• 카메라 센서의 다이내믹 레인지를 최대한 보존할 수 있는 색 공간과 인코딩 전송 함수를 선택합니다. 예를 들어, 플레이트 캡처에 사용된 카메라의 기본 색 공간이나 ACEScct (최소 12비트 인코딩이 필요함), 또는 리니어 부동 수소점(Linear floating point, 현재 EXR을 사용할 때만 가능)을 고려할 수 있습니다.
• 일반적인 납품 코덱 및 참고 사항: :
  
  • ProRes 422/444 - 압축
  • Notch LC - 압축
  • EXR - 무압축
  • DPX - 무압축

자세한 내용은 콘텐츠 플레이백 관련 기술을 확인하시기 바랍니다.

컬러 파이프라인

LED 기반 촬영의 컬러 파이프라인과 워크플로는 복잡하고 다양하며, 본 가이드에서 설명한 소프트웨어 및 하드웨어의 모든 요소와 연관됩니다. 여기서 잊지 말아야 하는 중요한 사실은 LED 패널이 육안으로 시청하는 디스플레이가 아니라 카메라로 캡처할 광원이라는 점입니다. 따라서 필요조건과 컬러 워크플로가 셋업별로 다를 수밖에 없습니다. 중요한 것은 전체 파이프라인에서 플레이트에 캡처된 원본 장면의 다이내믹 레인지 및 색상의 세부 사항을 최대한 보존하고, LED 월에서 '리니어(linear)' 신호를 출력하며, 이미지의 나머지 부분에 지대한 영향을 주지 않는 선에서 색역을 벗어나거나 한도를 넘어간 값을 처리하는 것입니다. LED 월 캘리브레이션은 작업에 꼭 필요한 단계로, 이미지 프로세서 캘리브레이션을 통해 LED 월의 각 타일/패널을 캘리브레이션하고, 카메라 캘리브레이션 워크플로를 통해 촬영 현장의 메인 카메라가 인식하는 시각 정보에 맞춰 LED 월의 전체 출력을 캘리브레이션해야 합니다. 넷플릭스는 이를 위해 'OpenVPCal'이라는 오픈 소스 툴을 개발했습니다. 해당 툴은 촬영 카메라를 색도계로 사용하여 LED 월의 출력을 캘리브레이션하고 카메라 메타머리즘(metamerism) 및 EOTF 트래킹을 수정합니다. 항상 촬영 현장의 패널을 육안으로 보고 판단하는 대신 카메라에 캡처된 출력 결과를 확인하고 결과물을 판단하시기 바랍니다.

이 워크플로는 곧 공유할 개별 문서에서 더 자세히 설명할 예정입니다. 다만 촬영을 계획할 때 관련 논의를 시작하기 좋은 몇 가지 간단한 확인 사항을 알려드립니다.

• LED 사양 파악 - LED 패널 보기
• 이미지 프로세서/LED 패널/카메라 간의 캘리브레이션 성능 최대화
• 메인 촬영 카메라(LED 패널 콘텐츠용과 메인 촬영 카메라/렌즈용 모두) 파악
• 이상적으로는 LED 패널에 맞게 매개 변수가 설정되고 카메라 캡처에 최적화된 출력 변환(Output Transform)을 통해 콘텐츠를 출력하는 것이 좋습니다. 월의 리니어 출력을 방해할 수 있는 임의적인 톤 매핑은 피하시기 바랍니다.
• 현장에서 발생할 수 있는 사소한 업데이트(화이트 포인트(white point), 노출, 명암 등)에 대비하시기 바랍니다.
  

예시:

• LED 패널 최대 니트(Nit) 레벨: 1500nit
• RGB 기본 컬러: P3
• 전송 함수: PQ/감마
• 블랙 레벨: 0.008nit
• 메인 카메라: ARRI Alexa Mini LF
  

위 예시의 경우, PQ P3 1500nits로 출력 변환을 생성할 수 있습니다. 최종적으로 결정하기 전에 해당 사항을 패널에서 다시 한번 확인하시기 바랍니다.

장면의 색을 의도적으로 변경하는 경우(예: 낮을 밤으로 표현하는 경우)를 제외하고, LED 패널용 콘텐츠에는 '창의적 또는 임의적'인 색보정을 적용하지 않습니다. 이 경우 콘텐츠에 LUT가 이중으로 적용됩니다. 색보정 시에는 장면을 참조한 기본적인 수정(노출, 화이트 밸런스) 및 약간의 CDL 조정(슬로프, 오프셋, 파워, 채도)만을 활용하여 LED 월의 출력물이 콘텐츠의 전경과 자연스럽게 섞이도록 '조화롭게 만드는 수정 작업'만 수행하면 됩니다. 일부 경우에는 하이라이트/섀도우 그라데이션 및 인지 색역 매핑(perceptual gamut mapping)이 필요할 수도 있지만, 이는 LED 월에 올바르게 표시할 수 없는 다이내믹 레인지와 색상을 제한하는 데만 사용되어야 합니다. 콘텐츠 매핑에 사용된 EOTF가 사용 중인 프로세서 및 LED 패널에 맞게 설정되었는지, 역변환이 올바르게 수행되고 있는지 확인하시기 바랍니다.

복수 플레이트 결합 또는 개별 플레이트

카메라 배열을 활용해 촬영할 경우, 매번 결합된 플레이트와 개별 플레이트를 함께 제공할 것을 권장합니다. 이는 플레이트 결합 시 발생하는 고스트(ghosting) 현상이나 패럴랙스(parallax) 문제와 같은 아티팩트를 해결하는 데 도움이 됩니다.