“사진기자도 속았다!”…‘포토샵 생성형 AI’ 기술 [청계천 옆 사진관]

동아일보
입력 2023년 9월 14일 14시 17분

이한결 기자

코멘트: 0개

좋아요: 개

지난달 2일 서울 여의도 한강공원에서 어린이들이 분수대에서 물을 맞으며 즐기고 있다. 사진 속 여의도 상공의 불꽃은 포토샵의 ‘생성형 채우기’를 활용해 만든 가짜다. 이한결 기자=always@donga.com

“헐 이거 직접 찍은 것임?”
타사 사진기자에게 불꽃놀이 가득한 여의도 사진을 보냈더니 이색적인 풍경에 놀란 반응이 나왔다가, 이내 “불꽃 쏜 적이 있나?”라며 긴가민가한 반응을 보였다. 불꽃축제 기간도 아닐뿐더러 평소 볼 수 없는 앵글의 사진이었기 때문이다. 당연히 위의 사진은 불꽃을 합성한 가짜다. 어도비 포토샵(Adobe Photoshop)의 ‘생성형 채우기’ 도구를 활용했다.

이 사진이 원본이다. 건물도 잘려있고 하늘도 조금밖에 보이지 않는다. 이한결 기자=always@donga.com

‘생성형 채우기’를 통해 합성하는 과정을 영상으로 캡처했다. 이한결 기자=always@donga.com

어도비사는 올해 초 생성형 AI툴인 파이어플라이(Firefly)가 통합된 포토샵 베타를 공개했다. ‘생성형 채우기’ 도구를 쓰면 포토샵의 생성형 AI를 활용할 수 있다. 사용자는 간단한 단어나 문장을 입력해 이미지에 원하는 콘텐츠를 간편하게 추가·확장 또는 제거할 수 있다. 위의 불꽃놀이 사진도 원본 사진 바깥쪽에 빈 공간을 만들어 선택하고 “Fireworks(불꽃놀이)”를 적은 후 엔터만 눌렀더니 결과물이 완성됐다.

지난달 1일 여의도 현대백화점 더현대 서울에서 찍은 원본 사진. 이한결 기자=always@donga.com

원본 사진에 폭포, 수영선수, 물고기, 행인을 추가해 봤다. 일부는 감쪽같지만, 일부는 비율이 이상하거나 뜬금없는 피사체가 등장했다. 이한결 기자=always@donga.com

생성형 채우기를 사용하다 보니 재밌는 사진들을 만들어 볼 수 있을 것 같아 이런저런 시도를 해봤다. 백화점에서 찍은 사진에 비어있는 공간들을 생성형 채우기로 채웠다.

끊겨있던 물줄기를 생성형 채우기를 통해 완벽히 채운 모습. 하지만 폭포 위쪽에 알 수 없는 형체가 생겼다. 이한결 기자=always@donga.com

“Swimmer(수영선수)”와 “Fishes(물고기)”를 입력한 결과. 수영선수는 아래의 행인들에 비해 너무 컸고 물고기는 분수대에 어울리지 않는 생선으로 나타났다. 이한결 기자=always@donga.com

“Person(사람)”을 입력했더니 위에서 바라본 각도와 비슷한 행인이 등장했다. 하지만 기존 행인들에 비해 선명해서 합성한 티가 많이 났다. 이한결 기자=always@donga.com

물줄기가 끊겨있는 부분에서는 놀라울 정도로 자연스럽게 이어진 폭포를 만들어냈다. 하지만 일부에서는 아직 완벽하지 않은 모습이었다. 수영선수와 물고기는 원본 사진에 맞지 않게 과도하게 크게 합성됐고, 특히 물고기는 분수대에 맞는 관상어가 아닌 생선이 등장했다. 크기는 사각형 선택 도구를 이용할 때 맞춰서 해야 하는 듯했다. 다만 합성한 행인은 위에서 바라본 각도에 맞게 나타나 주변부를 확실히 인식하고 합성하는 것을 알 수 있었다.

지난달 2일 경기도 가평천의 모습. 기능을 확인해보기 위해 사진 바깥 부분을 잘라냈다. 이한결 기자=always@donga.com

하얀 선 바깥쪽은 생성형 채우기 도구가 만들어낸 이미지다. 왼쪽에 일부 보이던 나뭇가지들을 인식해 커다란 나무 이미지를 생성한 것이 놀랍다. 계곡과 산의 모습도 얘기하지 않으면 분간하기 힘들 정도다. 이한결 기자=always@donga.com

잘라내기 전의 원본 사진. 생성형 채우기가 만든 이미지와 조금 다르긴 하지만, 생성형 채우기가 꽤 실제와 비슷하게 이미지를 만들어 냈음을 알 수 있다. 이한결 기자=always@donga.com

생성형 채우기의 또 다른 놀라운 기능은 사진의 일부분을 통해 더 큰 이미지를 생성하는 것이다. 작게 자른 사진의 바깥 부분을 선택한 후 단어 입력 없이 엔터를 누르면 사진을 인식하고 나머지 부분을 완성해준다. 기능을 확인하기 위해 넓은 사진의 일부분을 잘라내 가운데 놓고 생성형 채우기로 바깥 부분을 합성해봤다. 왼쪽 위 구석의 나뭇가지를 인식해 큰 나무를 만들어냈다. 계곡과 산도 위화감 없이 이미지를 만들어냈다. 원본 사진과 비교했을 때는 다른 점이 보였지만 합성된 사진 자체만으로는 가짜 이미지라는 것을 분간하기 쉽지 않았다.

7월30일 서울월드컵경기장에서 열린 쿠팡플레이시리즈 2차전 맨체스터 시티와 아틀레티코 마드리드의 경기에서 엘링 홀란드 선수가 질주하고 있다. 오른쪽의 파란색 옷을 입은 선수와 축구공은 생성형 채우기가 만든 가짜 이미지다. 이한결 기자=always@donga.com

같은 경기에서 베르나르두 실바 선수가 축구공을 차는 모습. 이한결 기자=always@donga.com

수비수가 막는 모습을 합성하기 위해 “Defender(수비수)”를 입력했더니 실바의 머리에 돌아간 머리가 합성됐고, 앞에는 뜬금없이 미식축구 선수가 등장했다. 수비하는 모습은 잘 나타냈지만, 스포츠 종목이 바뀐 것은 웃음을 자아냈다. 공도 없어졌다. 이한결 기자=always@donga.com

지난달 22일 국회 을지연습 테러 대응 종합훈련의 모습. 오른쪽의 경찰관은 마찬가지로 생성형 채우기가 만든 가짜 이미지다. 이한결 기자=always@donga.com

사람을 합성했을 때는 얼굴이 뭉개져 있거나 동작이 어색한 경우가 많았다. 축구 경기인데 미식축구 선수가 등장하는 등 재미있는 상황도 펼쳐졌다. 테러 대응 훈련 사진에서는 추가로 군인 이미지를 추가해보려고 “Soldier(군인)”를 입력했더니 지침에 의해 기능을 사용할 수 없다는 문구가 떴다.

지난 3월 트럼프 전 대통령이 수갑을 찬 채 경찰에 연행되는 사진이 트위터에 퍼졌다. ‘가짜 사진’이다.

지난 10일 트럼프 전 대통령이 지진이 발생한 모로코를 방문한 것처럼 만들어진 사진이 트위터에 올라왔다.

지난 5월 트위터 등에 확산한 미국 펜타곤(국방부) 인근의 대형 폭발 가짜 사진.

최근 AI를 쉽게 활용할 수 있는 환경 속에서 ‘가짜 사진’의 유포가 ‘가짜 뉴스’로 이어지는 사례가 늘고 있다. 지난 3월에는 트럼프 전 대통령이 연행되는 가짜 사진이 유포됐고, 지난 5월에는 펜타곤 인근에서 폭발하는 사진이 유포돼 잠깐이나마 증권시장이 요동쳤다.

윤석열 대통령이 13일 오전 서울 청와대 영빈관에서 열린 대한민국 초거대 AI 도약 회의(제20차 비상경제민생회의)에 참석해 발언하고 있다. 대통령실사진기자단

한편 윤석열 대통령도 13일 대한민국 초거대 AI 도약 회의에서 “가짜뉴스가 인공지능(AI)과 디지털을 이용해 빛보다 빠른 속도로 확산하면서 자유민주주의와 시장경제를 훼손하고, 우리의 미래와 미래세대를 망칠 수 있다”라며 가짜뉴스 등 부작용을 방지하기 위한 ‘디지털 윤리 규범’의 필요성을 강조했다.

지난 6일 남산에서 바라본 서울 도심 사진에 “Skyscrapers(마천루)”를 입력해 고층 빌딩들을 합성했다. 가장 오른쪽의 롯데월드타워를 제외한 고층 빌딩은 모두 포토샵이 만들어 낸 허상이다.

누구나 AI를 활용해 이미지를 합성하고 생성하는 시대가 왔다. 포토샵도 아직은 베타버전의 미흡한 점을 보이고 있지만 점점 더 정확해지고 정교해질 것이다. 일부 IT 업체에서는 AI로 조작한 이미지인지 검증하는 프로그램들을 내놓고 있지만 아직 정확도는 떨어지는 듯하다. 사진기자로서 ‘진짜 뉴스’를 검증하고 전달할 책임감을 느낀다.