맛 ma’at은 왜 5단계도, 10단계도 아닌 4단계의 평점시스템을 가지게 되었을까요?
그 고민의 역사를 이야기합니다.

---

본 포스팅은 로플랫(loplat)의 CEO이며 이 계정의 주인인 @ceojohn이 아닌, 그 와 함께 일하고 있는 nayul(@munimuni)이 작성한 것입니다.
ma'at 서비스의 기획/디자인/개발/마케팅 이야기를 연재하고 있습니다.

앱다운로드는 ↓↓↓↓
http://bit.ly/2tquMXp

1. 살아 움직이는 맛의 역사 - 맛 ma'at 을 소개합니다.
2. 노맛과 존맛 사이 - 맛을 평가하는 데 과연 몇 단계가 최적일까?
3. 음식 163개 맛보고 느낀 썰 - 비로소 맛을 수집하다

---

더운 날, 정수리에 따가운 햇볕을 맞으며 잠시 길을 걷다가 능라도의 문을 연다. 메뉴판을 볼 것도 없이 물냉면을 시켜서 국물부터 한 모금 들이켜준 후 후르륵후르륵 완냉을 한다. 아~ 짱 맛있다. 제 점수는요~

간만에 만나는 대학 동기들과 학교 앞 동네에 생긴 브런치집에 방문했다. 브런치 플레이트와 에그베네틱트를 시켜놓고 한 입 먹고 한 마디 뱉는 행위를 두 시간 지속한다. 아~ 브런치를 먹었구나. 제 점수는요~

점심시간, 네 개의 파티 중 하나를 선택해서 비지찌개를 먹으러 갔다. 비지찌개, 청국장, 제육볶음을 시켜놓고 골고루 맛을 본다. 제육볶음은 맛있고 비지찌개는 맛없다. 다음에 그럼 제육볶음 먹으러 올 수 있을까? 뭐 그렇게까지… 제 점수는요~

무언가를 먹고 나면 떠오르는 심상들이 있다.

맛있다, 맛없다, 별로다, 그저 그렇다, 먹을만 하다, 썩 괜찮다, 나쁘지 않다, 있으면 먹는다, 줘도 안 먹는다, 또 먹고싶다...… 이런 감정들이 맛에 대한 평가가 된다.

그런데 그 느낌이 항상 체계적이기가 쉽지 않다는 데에서 평가와 기억의 어려움이 생긴다. 모두가 대체로 이해하고 동의할만한 기준이 있으면 참 좋겠지만, 맛이라는 것이 워낙에 개인적인 부분이 상당해서 그런 척도를 마련하기가 쉬운 일이 아니다. 그러니 내가 맛봤던 음식에 대한 나 자신의 기억도 아주 강렬하거나 반복적일 경우에나 다른 음식과 비교해서 좋았는지 싫었는지 또렷할 수 있지 일일이 기억해놓고 판단하는 것은 상당히 고된 일이다.

사실 음식이란 것은 간이 맞고 쓰지 않으며 영양소가 충분하면 거의 맛있다고 느껴지는 것이 당연하다. 인간은 먹어야 생명을 유지할 수 있고 혀가 아니라 뇌의 지배를 받고 있으므로. 어찌보면 맛을 평가한다는 것은 굉장히 형이상학적인 일이고 엄청난 노고와 애정이 수반되어야 하는 일일 수 있겠다.

평가를 하는 것 만큼이나 큰 문제가 있다.
평가된 점수가 제대로 된 것인지 판단하는 것.
누군가 기가막힌 척도를 마련해서 모든 사람이 그 에 맞추어 맛을 평가할 수 있게 된다 한들, 모든 사람의 미각과 후각과 뇌를 동일하게 튜닝할 수는 없는 노릇이다. 그러니 ‘누가' 평가했는지가 점수의 신뢰도에 아주 중요한(거의 다일지도) 판단 기준이 된다. 별점이 3.4점 이라는데 어떤 사람들의 평가 평균인지 알 수 없다면 그 점수는 크게 의미가 없게 된다. 누군가가 “그거 괜찮았어” 라고 말 한다면, 일단은 그가 어떤 사람인지를 파악한 후 ‘괜’ 과 ‘찮’ 사이의 시간이 얼마나 떨어져있는지로 뉘앙스를 아주 섬세하게 판단해서 좋은 정도인 것인지, 괜찮은 정도인 것인지, '미식가인 나에게는 별로였지만 너 정도 입맛이라면 그냥 먹으라'는 것인지를 눈치채야 한다. 그 누군가가 황교익선생인지 전현무씨인지에 따라 우리는 판단을 달리 해야 하지 않겠는가?

큰 두가지 문제 중 ma’at은 일단 평가하는 단계의 문제 부터 생각하기로 했다.

개인적인 맛의 역사책이 서비스의 가장 기본이 되는 컨셉이기 때문이다. 적절한 에너지를 사용해서 철저히 나에게 이로움을 줄 수 있는 엄격한 평가를 해나가다 보면 언젠가는 나도 신뢰받는 평가자가 될 수 있지 않을까?

맛을 어떤 단위로 평가해야 할까?

5점척도 별점평?

일단 아주 심플하고 명확한 시작은 존재한다.
맛있음과 맛없음.
그 사이의 gray zone에서 수많은 애매한 평이 이루어진다.
그렇다면 맛있음과 맛없음 사이에 과연 몇 단계가 존재해야 하는 것일까?

맛집 서비스들을 포함하여 별점평을 사용하는 대부분의 서비스는 우리에게 아주 익숙한 5점척도를 사용하는데 이는 리커트 척도의 한 종류이다. 5점척도는 맛을 평가하는 데 적절한 척도일까?

리커트 척도(Likert scale)는 주로 인간의 태도를 측정하는 태도척도로, 만족도와 같이 주관적이고 정성적인 응답을 수량화(정량화) 하기 위하여 개발된 것이다. 여러 척도법 가운데 가장 실용성이 높고 효과가 있다고 평가되고 있다. 리커트 척도라는 명칭은 이 척도 사용에 대한 보고서를 발간한 렌시스 리커트(Rensis Likert)의 이름에서 따온 것이다(Likert, 1932).

리커트 척도는 문장을 제시하고 그것에 대해 대답하는 형식이다. 응답자들은 그 문장에 대한 동의/비동의 수준을 응답하고, 객관식/주관적 평가를 응답한다. 응답범주에 명확한 서열성이 있어야 하며 설문지에서 문항들이 갖는 상대적인 강도를 결정한다. 정량 값을 측정치로 사용하는 경우는 죄우 대칭 모양을 갖는 것이 적절하다. 하여, 3점이 가운데인 5점 척도, 혹은 4점이 가운데 7점 척도를 사용한다. 5단계 척도를 사용하는 경우가 많지만, 학자에 따라서는 7단계 또는 9단계 척도를 사용해야 한다고 하는 경우도 많다.

5단계 리커트 척도를 사용한 예

아이스크림은 아침 식사로 적합하다
전혀 그렇지 않다 -- 그렇지 않다 -- 보통이다 -- 그렇다 -- 매우 그렇다.

출처. 위키피디아 리커트척도https://ko.wikipedia.org/wiki/%EB%A6%AC%EC%BB%A4%ED%8A%B8_%EC%B2%99%EB%8F%84

위의 예와 같이, 리커트 척도는 양극 척도 방법이라서, 특정 문장이 주어지고 그 문장에 대한 긍정적 반응과 부정적 반응을 측정하는 것이다. 경우에 따라서는 가운데에 있는 "보통이다."를 없애고 긍정과 부정 중 어느 한쪽을 선택하도록 하는 경우도 있다. 7점 척도를 사용하면 1점, 7점의 극단을 회피하는 경향이 있어 5점 척도 응답 결과와 유사한 분포형태를 갖고, 5점 척도의 경우 만족+매우만족을 만족으로 간주하여 분석할 수 있지만 7점은 어디에서 만족으로 해야 할 지 결정이 쉽지 않다. 그래서, 5점 척도를 가장 많이 쓰고, 그 다음은 10점 척도이다. 다섯개의 별로 평가를 받고 여러 명의 평가를 평균하여 10점 혹은 100점 만점으로 표현해주는 서비스도 있다.

리커트 척도는 어떤 요인에 의해 결과에 왜곡이 발생할 수 있다.

• 응답자는 극단적인 선택을 피하려는 경향이 있고 : 맛도 양 극단을 평하기가 쉽지 않다. 이것보다 더 맛없는 최악의 것이나 훨씬 더 맛있는 천상의 맛이 어딘가에 있을 것 같기 때문이다.

• 제시된 문장에 동의하고 싶어하는 경향이 있으며 자신과 자신이 속한 조직이 긍정적으로 보이도록 하려는 경향이 있다 : 일단 촬영이 잘 된 음식이나 값이 비싼 음식, 먹는 데 리소스가 많이 들어간 음식에 박한 점수를 주기 힘들다.

• 또한 각 개인들이 가지는 응답의 준거틀에 따르는 문제가 있는데, 똑같은 정도의 생각을 어떤 사람은 보통으로, 어떤 사람은 극단적으로 표현하는 등의 차이가 있을 수 있다 : ‘맛있다'라는 감정 자체가 어느 정도의 즐거움을 주어야 발현되는 것인지 사람마다 차이가 있으며, 같은 차슈라멘을 평가할 때에도 육수의 맛을 중요시 하는 사람이 있고 면발의 퀄리티를 중요시 하는 사람이 있고 차슈의 불맛이나 두께에 방점을 찍는 사람이 있어 평이 각기 다를 수 있다.

ma’at도 CBT를 시작하는 시점에는 익숙하고 검증된 5점척도를 사용했다. 그런데 직접 사용하다 보니 늘 고민을 하게 되는 구간이 나타났다. 바로 3맛과 4맛 사이였다. 5맛은 웬만하면 주기가 어려울 테니 눈물을 찔끔 흘릴 정도로 크게 감동받게될 어느 날을 기다리며 그다지 사용할 일이 없는데, 썩 맛있는 것, 음 맛있는 것, 이건 뭐 당연히 맛있는 것 아니야?(like 팔도비빔면) 하는 것들에 3맛을 주어야 할지 4맛을 주어야 할지가 몹시도 애매했다. 괜찮은 것 보다 좀 더 맛있으면 4맛인가? 3맛은 맛 있는 쪽인가 맛 없는 쪽인가? 맛에 중간이라는 것이 존재하나? 그것은 무맛? 어떻게 해야 할까? (물론 별다른 고민 없이 5맛을 막 주는 테스터도 있었다)

태초에 맛있음과 맛없음이 있다. 그렇다면 깔끔하게 양분하면 어떨까?

ma’at은 원래 이상형 월드컵 컨셉의 끼니 추천 서비스를 아이데이션 하다가 만들어진 서비스인데(이 탄생설화에 대해서는 다른 포스팅에서 좀 더 자세히..), 종국에 추천 알고리즘을 고도화 할 것을 생각한다면 명확한 의사표현을 하게 하는 것이 좋은 선택일 수 있다.

이 지점에서 넷플릭스의 사례를 생각해볼 수 있다. 넷플릭스는 2017년에 기존의 별점 시스템 대신 엄지 아이콘을 이용한 ‘좋아요/별로예요’ 시스템을 도입했다. 제품 혁신 부서 이사 캐머런 존슨의 설명을 보자.

넷플릭스는 창립 이후 현재까지 오랜 기간 동안 별점 점수를 활용해왔다. 그러나 별점을 통해 회원에게 개인 맞춤형 추천을 제시하려는 넷플릭스의 의도와 달리, 별점 평가 방식에 혼란을 느끼는 회원이 많다는 사실이 1년에 걸친 테스트 결과 드러났다. 이는 오늘날의 사용자들이 모두 전자상거래와 후기 앱에서 사용하는 별점 평가 방식에 익숙하기 때문이다. 각각의 별점 점수가 전체 평균 점수에 반영되고, 레스토랑이나 구두 옆에 표시된 별점 점수는 모든 평가자의 점수를 취합한 평균 점수가 된다. 이들 앱에서는 평가자가 되어 후기를 남기면 재미도 있고 다른 사용자에게 도움도 되지만, 이들 앱의 경우 평가자가 다음 서비스 이용 시에 더 나은 추천을 제공하는 것이 반드시 그 주된 목표는 아니다. 반면 엄지 아이콘이 표시되어 있는 경우, 더 나은 콘텐츠를 찾을 수 있도록 회원 개인의 취향을 시스템에 학습시키는 것이 이들 아이콘의 목적임을 바로 파악할 수 있다. 넷플릭스가 별점 점수를 ‘좋아요/별로예요’ 시스템으로 대체하는 테스트를 진행한 결과 회원들의 평가 활동이 무려 200%나 증가한 것도 바로 이러한 이유에서다.

출처 https://media.netflix.com/ko/company-blog/goodbye-stars-hello-thumbs

우리는 이분법적인 사고를 지양할 것을 교육받아왔지만, 사실 선택지가 적은 것은(설사 그것이 주관적 견해나 태도를 표현하는 것이라 해도), 특히 명확히 둘로 정해져 있는 것은 인간의 사고나 행동에 상당한 효율을 주는 경우가 많다. 이는 서비스 UX를 설계할 때 아주 유용하고 중요하게 적용된다. ‘틴더(Tinder)’가 5점척도로 별점을 주게 했으면 어땠을지 상상해본다면 그 효과를 짐작할 수 있다.

그런데 맛을 맛있음과 맛없음으로 단순하게 표현하자니 문제가 생긴다. 영화나 온라인 데이트상대는 무수히 넓은 풀에서 엄청난 회수로 좋고 싫음을 표현할 수 있고 싫은 쪽이 훨씬 많았더라도 그 중 좋은 사람이나 컨텐츠를 찾았다면 승리감과 만족감을 느낄 수 있다. 반면 음식을 맛보는 행위에는 하루에 인간에게 주어진 물리적 한계가 분명해서 아무리 많이 먹는 사람도 틴더에서 무심코 플리킹을 하는 수 만큼 먹기는 힘들다. 그렇기 때문에 대체로 모든 경우에 실패하지 않는 것이 중요한데, 실패하지 않는다는 것이 반드시 성공을 의미할 수는 없다. 모든 경우에 엄청 맛있는 것을 먹기가 힘드니까 말이다.

그래서 아무래도 맛을 평가하는 단계에는 맛 있음도 맛없음도 아닌 적당한 맛, 중맛 같은 것이 있을 수 밖에 없겠다.
그렇다면 1맛 / 2맛 / 3맛 이렇게 3단계가 어울릴까?

여기까지 왔을 때 의견이 나왔다. 맛있는 것 보다 더 맛있는, 진짜 맛있는 것을 따로 표현하고 싶다는 것이다. 하긴 그렇다. 정말 이건 너무 깜짝 놀랍게 맛이 좋아서 누가 물어보지 않았는데도 먹어보라고 추천할만한 맛이 있다. 한 술 뜨고는 식당 안에 있는 손님들을 힐끔힐끔 보며 "다들 이거 먹고 있는 거 맞아? 여기 와서 설마 이거 안 먹는 거 아니지?" 하게 되는 맛 말이다.

그렇다면 4맛을 만들어야 할까? 4맛… 이렇게 느낌이 없을 수가 없다. 3맛보다 좋은 맛인데 고작 4맛이라니. 틴더의 ‘슈퍼 라이크(Super Like)’보다도 더 강력한 어떤 표현이 필요했다.

존맛

느낌 왔는데, 이거... 괜찮을까? 너무 약빨았나? 외국사람들한테는 느낌이 안올텐데...
여기서 우리의 @ceojohn 이 우리를 구원했다.

john ma’at

하필 우리 ceo의 영어이름이 john이 아니겠는가.
john이 인정한 맛은 john ma’at이 되는 것이다.

이렇게 우리 john은 ma’at의 이데아이자 심볼이 되었다.

1ma’at - #노맛 #기피대상
2ma’at - #먹을만함 #있으면먹어
3ma’at - #위장호강 #또먹을래
john ma’at - #인생맛 #이분야최고

이 네 단계의 맛의 척도를 사용하며 테스트를 해보는 중이다.
만족스러워하는 사용자도 있고, 5점 척도가 아니어서 어색해하는 사용자도 있다.

개인적인 의견으로는 2맛을 줄 때 약간의 고민을 하게 된다는 애로사항이 있는데, 먹을만 하다는 것에도 단계가 존재하더라는 것이다. 정말 그냥 먹을만 한 것과 썩 괜찮긴 한데 또먹을 정도는 아닌 것. 그렇지만 둘 다 있으면 먹어도 굳이 또 먹을 정도는 아니라는 것에 일맥상통하고 누군가에게 추천할만한 것이 아니라는 큰 기준을 가지고 있으니 생각해보면 어렵게 고민할 일도 아니긴 하다.

또 하나의 후기를 말해보자면, 평가를 굉장히 짜게 주는 경향이 생긴다는 것이다. 알 수 없는 누군가를 위한 평이 아니라 나중에 내가 다시 봤을 때 어떻게 평했는지 기억하기 위해서라고 생각하니, 정말 맛있는 것이 아니면 맛있다고 표현할 수가 없다. 맛있는 줄 알고 또 먹으면 안된단 말이다. 그리고 나중에 평가하기를 선택해놓고도 얼른 평가를 하게 된다. 시간이 지나면 어땠는지 또 잘 기억이 안나기 때문에, 찍기만 하고 평을 안하면 1맛을 못 면한다는 생각으로 열심히 평가중이다.

---

ma'at 서비스 소개
https://steemit.com/kr/@ceojohn/ma-at-ma-at

앱다운로드는 ↓↓↓↓
http://bit.ly/2tquMXp

더불어,
천하제일 맛짤 선발대회 이벤트를 하고 있습니다!

🇰🇷천하제일 3초 맛짤 선발대회🇰🇷
#내가 #존맛이 #어디에있는지 #알고있소

-'맛'을 다운받고 지금먹는 존맛탱 음식을 존예롭게 찍어주세요.
-1등에겐 신라호텔 더파크뷰 식사권 2장을 드립니다.
.
.
*****참가방법*****

1. 맛 다운받고 http://bit.ly/2tquMXp
2. 지금먹는 음식 찍으면
3. 끝! 자동 응모!
   .
   .
   ***참가 기간 : 6/19(화) ~ 7/15(일)
   ***선정 인원 : 1명
   ***결과 발표 : 7/20(수)
   -맛 페이스북 페이지 & 구글 계정 이메일로 개별 연락
   ***상품 : 신라호텔 더파크뷰 식사권 2장(주말/저녁용)
   ***5만원 이상의 경품에 대한 제세공과금(경품 금액의 22%)은 당첨자 본인이 부담합니다.