GAN (Generative Adversarial Network) 관련 특허 최초 공개 및 분석 (1) – 무엇에 관한 특허인가

GAN (Generative Adversarial Network)는 최근 인공지능 분야 연구자들 사이에서 가장 뜨겁게 다뤄지고 있는 분야입니다. GAN을 이용한 다양한 논문들이 쏟아져 나오고 있습니다. 결과물 또한 사람들의 흥미를 끌기에 충분하죠.

“두 개의 신경망들이 서로 경합하면서 하나는 진짜 같은 가짜를 만들고 다른 신경망은 만들어진 데이터의 진위여부를 판단하면서 최종적으로 진짜 같은 가짜를 만들어 낸다”는 개념 자체가 흥미롭죠. 공상과학 영화에서나 나오던 개념처럼 들리기도 합니다. 실제 GAN을 이용해 만든 결과물도 흥미롭습니다.

GAN의 기술적인 설명은 아래의 링크에서 더 자세히 확인 가능합니다.

http://jaejunyoo.blogspot.com/2017/01/generative-adversarial-nets-1.html

하지만, 아직은 GAN을 다루는 본격적인 특허를 찾아보기는 어려웠습니다.

특허제도의 특성상 특허 출원일(특허를 받기 위해 신청서를 내는 날짜)로부터 1년 6개월이 지나야 일반인에게 공개되기 때문입니다.

GAN이 본격적으로 주목을 받은 시점이 2016년 즈음 이란 것을 감안하면, 작년 말이나 올해 초쯤이 관련 특허들이 슬슬 공개되기 시작할 시점입니다. 미국 특허청 데이터 베이스를 중심으로 최근 두 개의 특허가 막 공개되었습니다.

이중 가장 먼저 공개된 페이스북의 특허(Producing Higher-Quality Samples of Natural Images, US15/706,428)에 대해 소개해 볼까 합니다.

여담이지만, 이 포스팅을 처음 준비했을 때만 해도, 해당 페이스북 특허가 GAN을 직접적으로 다루는 최초의 공개된 특허였습니다. 포스팅을 준비하는 중에 2018년 3월15일자로 트위터의 특허도 공개가 되어서 두 개의 특허가 공개되었네요. 앞으로도 본격적으로 GAN 관련 특허들이 많이 공개되리라 봅니다. 해당 트위터의 특허에 대해서도 기회가 되면 후속 포스팅으로 다뤄보겠습니다.

1. 무엇에 관한 특허인가?

페이스북이 출원한 특허는 2017년 12월 21일에 공개된 특허입니다. 세상에 공개된 지 4개월이 조금 넘은 따끈따근한 특허입니다. 출원일은 2017년 6월 15일입니다.

소프트웨어 분야 특허들은 발명자를 확인 하는 것이 분석에 유용한 경우가 많습니다. 다른 분야 보다 발명자 개인의 역량이 중시되는 분야기 때문이죠.

발명자를 보니 익숙한 이름이 있습니다. Emily Denton. 어디서 많이 들어본 분 같은데. 논문을 찾아보니, 해당 특허는 2015년 6월에 발표된 LAPGAN(Laplacian Pyramid of Adversarial Networks) 논문(Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks, E. Denton et al.)을 특허화 한 논문입니다.

https://arxiv.org/abs/1506.05751

라플라스 피라미드(Laplacian Pyramid)는 이미지 표현의 방식 중 하나입니다. 이미지를 주파수 영역으로 표현하기 위한 이미지 피리미드 중 하나죠. 이미지를 단계 별로 다운샘플링 하면서, 같은 계층에 원본 이미지와 다운샘플링 과정에서 소실된 이미지 데이터(주로 고주파 영역 값)을 배치 시킵니다. 그리고 이러한 단계를 반복하여 표현합니다. 다운 샘플링한 이미지의 크기가 줄어드니 계층별로 배열하면 마치 피라미드 처럼 계층이 높아질수록 이미지 크기가 작아지겠네요.

이미지 피라미드 및 라플라스 피라미드에 대한 내용은 아래 링크를 참조하시기 바랍니다.

http://eric-yuan.me/image-pyramids/

라플라스 피라미드는 이미지의 주파수 영역 표현형 이면서도, 이미지 내에 포함된 각 오브젝트의 위치 정보가 소실되지 않습니다.

LAPGAN은 이러한 라플라스 피라미드를 이용해서 저해상도의 이미지에서 고해상도의 이미지를 얻어내는 SUPER RESOLUTION 문제를 해결하기 위한 내용입니다.

라플라스 피라미드를 꼭지점에서부터 거꾸로 구현하면, 저 해상도 이미지를 가지고 고 해상도 이미지를 얻는 과정으로 볼 수 있습니다. 다운 샘플링된 이미지와 다운 샘플링하면서 소실된 고주파 영역의 이미지 정보를 합하면, 이전 계층의 원본 이미지 정보를 얻을 수 있죠.

다만 소실된 고주파 영역의 이미지를 어디서 가져올 지가 문제가 됩니다. LAPGAN 논문은 이를 위해 고주파 영역 이미지를 GAN을 이용해서 생성하자고 제안하고 있습니다. GAN을 이용하여 소고주파 영역 이미지를 만들어 내면, 한 단계 업 샘플링된 이미지 데이터를 얻을 수 있고, 원하는 만큼 이 작업을 반복하면 저해상도 이미지를 이용하여 원하는 해상도의 고 해상도 이미지를 얻을 수 있죠.

이러한 논문을 바탕으로 쓰여진 특허의 제목도 “Producing Higher-Quality Samples of Natural Images” 입니다. 제목만 봐도 SUPER RESOLUTION 문제에 대한 것이라는 느낌이 오네요.

LAPGAN에 대한 자세한 내용은 논문(https://arxiv.org/abs/1506.05751)이나 아래의 링크를 참조하시면 이해하시는데 더 도움이 될 것 같습니다.

http://www.khshim.com/archives/249

본격적으로 특허에 대한 내용을 알아보고자 하려니, 기술에 대한 내용을 설명하는데도 꽤 내용이 길어졌습니다. 다음 포스팅에서는 해당 특허와 논문과의 본질적 차이에 대해서 설명드리도록 하겠습니다.

감사합니다.