‘불량 화소’는 예상대로 작동하지 않는 픽셀이나 포토사이트(photosite)를 포괄적으로 가리키는 용어입니다. 불량 화소는 스턱 픽셀, 휘점, 흑점, 발광점, 백점, 결함이 있거나 깜빡이는 화소 등을 포함하지만, 이에 국한되지는 않습니다. 개별 픽셀이나 픽셀 클러스터는 여러 클립에 걸쳐 일관되게 나타날 수도 있으며, 프레임에 따라 무작위로 나타났다 사라지는 것으로 보일 수도 있습니다.
제조사와 상관없이 모든 CMOS 센서는 불량 화소가 수천 개 정도 발생합니다. 제조 과정에서 생길 수밖에 없는 문제입니다. 예를 들어 4K UHD CMOS 센서 하나에는 최대 830만 개의 포토사이트가 있습니다. 무언가를 830만 번 제작하면서 단 한 번도 오류가 나지 않기를 기대하기는 힘들 겁니다.
CMOS 센서 곳곳에서 결함 있는 픽셀 수천 개가 나올 수 있는데, 이런 픽셀이 모든 프레임에서 보이지 않는 이유는 무엇입니까?
좋은 질문입니다. 센서 제조사는 복잡한 알고리즘을 사용해 예상대로 작동하지 않는 포토사이트 위치를 꼼꼼하게 매핑하면서 생산 라인의 모든 센서를 일일이 테스트합니다(그림 1 참조).
그림 1. 알고리즘이 잡아낸 불량 화소
포토사이트 각각의 위치가 기록되면, 센서별로 각기 다른 맵이 생성됩니다. 지문과 비슷하다고 생각하면 됩니다(그림 2 참조).
그림 2. 매핑을 마치고 무용 화소로 표시된 데드 픽셀
이 픽셀 맵을 사용하여 불량이 의심되는 값을 주변 포토사이트에서 얻은 더 정확한 값으로 대체함으로써 송신 시 불량 화소를 수정합니다(그림 3, 4 참조). 시험공부를 하지 않은 아이가 옆자리 친구의 답안지를 훔쳐본다고 생각하면 됩니다. 다만 이 경우에는 더 바람직한 일로 권장된다는 차이가 있습니다.
그림 3. 주변 픽셀을 읽어들여 불량 화소 대체값 설정하기
그림 4. 주변 픽셀 정보를 사용해, 매핑을 거쳐 확정된 불량 화소를 수정한 모습 제조 공장에서 모두
잡아냈는데도 여전히 불량 화소가 종종 나타나는 이유는 무엇입니까?
문제 있는 화소의 식별에 사용하는 알고리즘이 항상 완벽하지는 않으며, 픽셀 반응 역시 변동이 심하기 때문입니다. 픽셀 작동은 센서의 작동 온도와 연동 시간(또는 셔터 속도), 심지어 우주 복사(농담처럼 들리겠지만 사실입니다)처럼 여기에서 본격적으로 다루지는 않을 몇 가지 다른 요소에 크게 영향을 받습니다. 센서 온도는 대단히 유동적이기 때문에, 픽셀에 따라서는 예상되는 반응을 보이지 않을 때도 있습니다.
노출 조정도 마찬가지입니다. 게다가 센서는 제조처에서 캘리브레이션을 마치고 나면 시간이 흐르면서 기능이 쇠퇴하고 새로운 문제가 발생할 수 있습니다. 그래서 많은 제조사는 촬영 환경과 노출 설정, 개별 센서 반응에 따라 사용자가 직접 센서를 캘리브레이팅할 수 있도록 합니다.
사용자에 의한 센서 캘리브레이션은 명칭이 다양하며, 픽셀 수정 외에도 블랙 섀이딩(Black Shading), 블랙 밸런스(Black Balance), 다크 프레임 추출(dark frame substraction)과 픽셀 자동 복구(Automatic Pixel Restoration) 등 여러 기능을 추가할 수 있습니다. 대부분 시나리오에서는 카메라 센서를 제조사 가이드라인에 맞춰 캘리브레이션한 범위(온도 및 연동 시간/셔터 속도) 내에서 작동하기만 해도 불량 화소 문제가 전부 해결됩니다. 다행입니다.
잠깐, 여전히 불량 화소가 보이는데, 어떻게 된 일입니까?
앞에서 설명한 대로, 카메라 내에서 불량 화소를 잡기 위해 사용되는 복잡한 알고리즘은 언제나 완벽하게 작동하지는 않고, 전부 동일하게 생성되지도 않습니다. 카메라 제조사에는 힘든 상황입니다. 사용자는 크기는 점점 작아지는 동시에 정지 시간은 거의 없이 빠르게 작동하는 카메라 시스템을 원하기 때문입니다.
이 딜레마를 해결하는 접근법은 제조사가 우선순위를 두는 요소에 따라 달라집니다. X 회사는 복잡한 센서 캘리브레이션을 카메라 내에서 처리하기에 충분한 하드웨어가 우선이므로 카메라 바디가 커도 상관없다고 생각할 수 있습니다. 반면 Y 회사는 크기를 줄이고 카메라 내 캘리브레이션을 빠르게 처리하는 데 초점을 맞추기 때문에, 이 제품을 사용하면 화소 문제 해결에 더욱 강력한 포스트 프로세싱 솔루션이 필요할 수도 있습니다.
어느 쪽이든 장단점이 있습니다. 비교를 좀 더 복잡하게 설정해 보겠습니다. 포토사이트가 3,500만 개 있는 8K 센서와 포토사이트가 830만 개 있는 4K UHD 센서를 분석한다고 가정합시다. 처리할 정보는 약 네 배 차이가 납니다. 카메라 시스템이 캡처 해상도를 점점 높이면, 영상에 불량 화소가 나타날 확률도 높아집니다. 다행히 대부분 포스트 프로세싱 소프트웨어는 사용이 편리한 여러 가지 픽셀 마스킹 툴을 제공하여 이 문제를 해결합니다.
불량 화소 방지/해결 방법
- 워밍업 시간을 두어 카메라/센서를 의도한 작동 온도에 맞추고, 제조사 가이드라인에 따라 센서를 캘리브레이팅합니다.
- 캘리브레이션 설정 온도와 노출 범위 안에서 카메라를 작동합니다.
- 센서 온도나 노출에 차이가 크면 불량 화소가 생길 수 있습니다. 열악한 환경에서는 제조사가 설정한 최적 사용법을 따릅니다.
- 대부분 포스트 소프트웨어 툴은 불량 화소 수정을 위해 픽셀 마스킹 기능을 지원합니다. 그리고 ARRI와 RED 등의 카메라 제조사는 자체 소프트웨어 개발 키트(SDK)를 통해 픽셀 마스킹 툴을 흔히 사용하는 외부 프로그램에 연동할 수 있습니다. 이런 기능을 제대로 이용하려면 포스트 프로세싱 소프트웨어를 최신 상태로 유지해야 합니다.
-
불량 화소를 수정하기 위해 공간 노이즈 제거 기능을 이미지 전체에 사용하지 말아야 합니다.
- 이로 인해 이미지 품질 저하 현상과 디테일/텍스처 손실이 발생합니다. 노이즈 제거 기능은 프레임 본래 부분은 제거하지 않으려 합니다. 불량 화소는 여러 프레임에서 비활성 상태로 남아있을 수 있기 때문에, 노이즈 제거 알고리즘이 수정할 픽셀을 제대로 잡아내지 못할 가능성이 있습니다.
캘리브레이션 범위에서 카메라를 작동하고 센서를 새로 캘리브레이팅했는데도 픽셀 문제가 해결되지 않는다면, 제조사에 직접 문의하시길 바랍니다.