Principles for lipsync animation

 

                                                                       translated by lee jong pil

Introduction... 소개 (대부분 의역임)

 

나는 최근에 페이셜 애니메이션과 립싱크에 대해 어떻게 접근 하지에 대한 질문을 많이 받았다.  대부분의 이런 질문들은 포즈 투 포즈방식의 조직화된 키 프레이밍에 관한 튜토리얼을 읽고 이 아이디어를 립싱크나 페이셜 애니메이션에 적용하려는 생각 때문인 거 같다. 

 

실로 내 애니메이션 작업의 일부분인 페이셜 애니메이션이나 립싱크 작업에 관해서 아직까지 나 자신이 정의 내리지 못한 부분에 대해 스스로 질문을 하고 있었다. 이 말은 내가 자리에 앉아서 차분히 페이셜이나 립싱크 애니메이션의 작업 과정을 논리적으로 생각해 보지 않았다는 말이다. 나는 항상 나의 느낌대로 작업을 끝냈었다. 나는 동시 다발적으로 페이셜이나 립싱크 애니메이션을 같이 끝냈었다. 나는 내 립싱크 작업을 할 때는 미리 계획을 하지 않았다. 그리고 페이셜 애니메이션을 하기 위해 전 시간을 "break down"작업에 쏟아 붓지 않았다.  나는 조직화되고 기계적인 방식의 팝 쓰루 애니메이션 스킬에서는 페이셜 애니메이션의 근간이 되는 감정의 원천을 나타내기 힘들었다. 기본적으로 얼굴의 표정과 립싱크는 가슴으로 느끼는 감정을 표출하는 것이다. (테크니컬적으로 접근하기 힘들다는 말) 그리고 내가 페이셜과 립싱크 애니메이션을 하는데 가지고 있는 예술적인 감각을 논리적으로 정의 내리기 힘들다는 것을 알았다(자기의 감각적인 스킬을 말하는 것 같음). 그러나 최근에 나는 이 작업을 정의 내릴 수 있는 몇 가지 접근 방법이 있다는 것을 알아냈다.

 

고로, 나는 보통 사람들이 립싱크 애니메이션이 접근하는 방식에 대해 알아보고 방식에 대해 이야기 할 것이다. 일단은 내 글들이 이 립싱크 접근 방식에 대해 대가라고 생각하지 않음을 전제해 둔다. 내가 접근하는 방식은 순전히 나만의 생각이고, 다른 사람들은 내 접근 방식에 대해 동의하지 않을 수도 있다.  하지만 이 튜토리얼의 목적은 애니메이터가 립싱크 애니메이션을 하는데 있어서 일종의 실타래 역할을 할 수 있게 도와 주는 것이다. 나는 이러한 접근 방식이 일종의 법칙이나 그러한 것들로 논쟁거리가 되는 것을 피하고 싶다. 이런 것들은 단지 립싱크 애니메이션의 접근 방식이 다르다는 것을 알게 해주는 생각이나 이론밖에 안 된다. 그래서 미리 주의를 두고, 내가 립싱크 애니메이팅에 다른 접근 방식을 이야기 하고자 한다.(의역이 좀 많음...애매하네요)

 

이제 할 이야기는 여러분을 지치게 하는 것이 아니고, 내가 립싱크 애니메이션에 어떠한 생각을 가지고 접근하는 지를 알려 주는 거다. 나는 이 튜토리얼에 립싱크 애니메이션만 특별히 다 둘 것이다.  나는 다른 곳에서도 이 주제에 관해 적고 있고 이것은 캐릭터의 얼굴에 말하는 것과 감정의 표현을 애니메이팅 하는 것에 대한 전반적인 접근이다. 

 

In the Beginning... (시작하며)

 

립싱크는 첨에 일종의 속임수임을 알게 된다. 거의 모든 사람의 접근 방법은 다음과 같다:

1) M,E,S,TH,F와 같은 타깃 사운드모양을 만들어 준다.(몇몇은 H,G,J,Z까지 만든다) 

2)사운드 트랙을 듣는다.                                                              

3)미리 만들어둔 사운드 타깃을 사운드 트랙과 거의 일치하도록 타깃 애니메이팅 한다.    

4)만든 립싱크 애니메이션을 프리뷰 렌더 해본다.                                      

5)잘 못되어 버린 입 모양을 본다                                                     

6)이상하게 되어버린 것에 놀란다

적어도 내가 첨 겪은 것은 이러했다. 문제는 캐릭터가 무슨 생각을 가지고 어느 부분에 강조의 말을 하는지 생각하지 않고, 그저 문자 그대로 캐릭터의 입 모양을 움직이려 하는데 있다.

 

There's No Such Thing As Letters in Speech...                                        

말하는 것에는 글자라는 것은 없다.

 

위의 글에서 내가 "사운드"라는 말을 어떻게 인용했는지 주목하라. 초심자들이 종종 하는 실수는 '문자'와 '소리'를 같이 생각하는 것이다.

 

Principle #1: Letters are not sounds. Sounds are not letters. There are NO letters in lipsync animation.

첫 번째 원칙: 문자는 소리가 아니다. '소리'는 '문자'가 아니다. 립싱크 애니메이션에는 '문자'란 존재하지 않는다

 

이 둘은 비슷한 법칙을 가지고 있지만, 형태는 전혀 다르다. 문자는 종이 위에 쓰여진 상징된 심볼이고(소리에 붙여진 약속된 기호) 생각을 나누기 위한 단어이다. 하지만 문자는 말하기를 위해 만들어진 것은 아니다. 글로 주고받기 위함이다. 그리고 우리는 쓰기가 아닌 말하기를 하기 위해서 애니메이팅을 한다. 소리는 말함 즉 어조이다.(소리는 문자를 음성표기하기 위한 약속) 서로 이해된 말과 생각의 교환을 위해 쓰이는 것이다. 소리는 말하기 위해 존재하지 쓰기 위해 존재하는 것이 아니다. 유사성과 다름을 한번 살펴봐라. 그래서 여러분이 말하기를 애니메이팅 할 때, 캐릭터에 입에 문자 그대로를 입히지 말라. 말 할 때 우리의 입은 글자가 적힌 것이 아니라, 그 말을 하기 위해 입 모양을 만드는 것이다. 나는 이런 말들이 의미론적으로 논쟁거리가 되리란 걸 알고 있다. 하지만 나를 믿어라. 말과 글의 구분은 매우 사실적인 것이다. 그리고 여러분이 화면상에서 립싱크 애니메이션을 할 때, 글자대신에 소리를 애니메이팅 한다면, 더 좋은 애니메이션을 만들 수 있을 것이다.

 

So What Does that Mean For Animation?                                               

애니메이션에서 그게 도대체 무슨 뜻이야??

 

자 그럼 예를 한번 들어 보자. "You have to get" 은 말하기에서는 "you hafta get"이다.  이 예시 사운드는 10초 클럽에 2001년 11월 사운드 트랙으로 25프레임 정도의 음성이다. 처음 보기에는, 이 말이 다음과 같은 키들을 따라 해야만 하는 것처럼 느껴진다.

 

Y (a pucker shape 오므리는 입모양)

Ooo

H

Aa

V

T

Uh

G

Eh

T

 

위의 글은 사람들이 말하는 "You hafta get"을 정확히 분석해놓은 것이다. 하지만 여러분이 위의 분석대로 립싱크 애니메이션을 하게 된다면, 애니메이트 된 입은 상당히 빠르게 뻐끔거리게 된다는 걸 알게 될 것이다. 이런 포즈들이 한 프레임씩에 적용되어 보여진다면 보는 이로 하여금 무슨 정보를 말하는지 알아차린 데에 시간이 부족해 버린다. 빠르게 분석해서 보자면 hafta의 ah는 입 모양새를 벌리게 하고, 다시 hafta의 F는 입 모양을 조금 닫게 하고, 마지막으로 hafta의 끝부분은 다시 입 모양을 벌리게 한다. 이 결과 입 모양은 열었다 닫았다 하는데 고작 3프레임밖에 쓰이지 않는다. 이건 보기 좋지 않다.

 

But What About My Letter..um... I Mean "Sound" Shapes?                               

그렇다면 내가 쓴 "사운드"의 형태는 무엇을 의미하는 거야?

 

종종 초보자들은 분석한 글에서 음소 하나하나를 독립적인 입 모양을 만들어 버리는 경우가 있다. 그래서 E 음소의 경우 자체를 E로 만들어 버리고 K같은 경우는 Kuh(커)라고 발음했을 때 입 모양으로 만들어 버린다. 처음 접하게 되면 이것들은 이론상 옳게 생각된다. 하지만 여기서 생기는 문제점을 예로 들자면 T라는 발음을 할 때 우리의 얼굴 모양은 Tuh(터)라고 발음할 때의 모양이 된다. 하지만 “skate”를 발음 할 때는 입 모양이 Tuh랑 틀려지고 또 “pet store”를 발음할 때는 또 틀려진다. 그리고 “goatee”를 발음할 때 T 모양은 Tuh랑은 매우 다르다.

 

Principle #2: Mouth Shapes for Sounds Must Be Animated In Context

원칙 둘: 문맥에 맞게 소리를 위한 입 모양의 형태가 애니메이트 되어야 한다

 

내가 말한 문맥이란 의미는 다음과 같다.

말할 입 모양의 형태는 현재의 입 모양에 영향을 준다. 마찬가지로, 다음으로 말할 입 모양은 현재의 입 모양으로 예상 할 수 있다. 그래서 입 모양은 시작과 그 다음에 말할 내용을 소리를 함께 문맥상의 뜻을 내포해서 보여 줘야 한다. 만약에 여러분이 사운드 트랙에 “T”라는 단어가 들어간 소리를 낸다고 했을 때, T(Tuh)를 매 단어의 음절마다 표현하게 된다면 여러분 캐릭터의 입 모양은 무쟈게 버끔거리게 된다.

첫 번째 룰을 기억해라. 말하는 것을 애니메이팅 한다는 것은 입 모양이 글자를 표현한다는 것이 아니다.

립싱크 애니메이션은 현재 무슨 대화가 오가는지를 나타내는 일종의 소리의 흐름이라는 것을 인지하는 것이 중요하다. (완전 의역, sound shape을 mouth shape로 의미 전환했음.)

 

OK, Mr. Fancypants. So Just How Should I Animate Lipsync?

좋아 미스터 약골. 그래서 어떻게 립싱크 애니메이션을 하란 말이야?

 

더 나은 접근 방법은 사운드 트랙의 대사들에서 의사 소통의 기본 요소가 무엇인지를 파악하여 말하기를 하는 것이다. “귀를 쫑긋 세워서 들어라” 그리고 대화의 감정이 무엇인지를 끄집어 내어라.

자, 그럼 예술의 역사를 살펴보자. 19세기 후반 많은 세월 동안, 르네상스시대 예술의 노력으로 예술은 실제의 세심하고 정확한 재현이었다. 리얼리즘이 목표이고, 그림에서 사실주의는 표준이었다. 그렇기 때문에 예술가들은 사물의 전반적인 것을 있는 그대로 묘사하는 것을 주된 생각으로 가지고 있었다. 시간이 지나면서 이들은 나무의 모든 잎을 세세히 묘사하기 보다는 빛이 어떻게 작용을 하고 그림자가 어떻고 색상을 어떻게 표현해야 이 나무가 또 다른 세계에서 진짜로 보일지 더 신경을 쓰기 시작 했다. 이 보이는 것에 대한 새로운 해석은 잎이 어떤 형태이고, 색이고 톤이고 어떤 대조를 지녔는지 주안점을 두지 않는 것이었다. 초기에 이러한 사람들을 게으른 예술가라 불렀고, 사물을 세세히 표현하는 능력이 부족했기 때문이라 생각했었다. 하지만 곧 세상 사람들은 이러한 새로운 예술 기법에 놀라워했다. 인상주의의 탄생이었다.

 

So how does that apply to us and lipsync?

그렇다면 어떻게 이것을 립싱크 애니메이션에 적용할 것인가?

 

여기에 그 방법이 있다: 그냥 인상주의 화가들이 이전의 리얼리즘에 얽매이지 않는 것처럼 우리도 립싱크 애니메이션에 이전의 법칙에 얽매이지 않고 인상적인 부분을 끄집어 내면 된다.

 

Principle #3: Interpret the Lipsync Animation like an Impressionist

원칙 셋: 립싱크 애니메이션을 해석할 때 인상주의자처럼 해라. (인상적인 부분을 잡아 두어라)

 

여러분의 립싱크 애니메이션에서 주요한 감정 표현 부분이 있고 그걸 끄집어 낼 수 있다면 조금이고 집어 넣어라. 이것은 마치 인상주의 화가가 자신의 붓으로 쿡쿡 찍었는데 덥수룩한 잎들로 느껴지는 것과 같다. 여러분도 말과 소리를 다음 말과 소리에 연결을 해주면 된다. 얼굴의 소리 타겟 값을 서로 섞어주어 흐름을 보여주면 된다. 잎을 보여주는 것을 피하고 대조와 형태를 보여주기 시작해라. 말하는 것은 생각의 흐름을 나타내는 것이지 단어들의 두운법칙등, 기능적인 면을 보여주는 것이 아니다.

 

 

 

 

 

 

 

Impressionism Applied To Real Live LipSync...

인상주의는 실제 우리의 대화에 적용된다.

 

그럼 다시 예제 사운드인 You have to get을 보자. 더욱이 인상을 주어 말하기 위해 다음과 같은 부분에 주된 강세를 두어 강조하는 것 같다.

(대략적인 강세는 다음과 같을 것 같네요. 사운드 자료가 없어요.. 10클럽에도)

 

 

 

 

Ooo(우~)       

aaFF(아~프)                   

Eh(에)

 

 

계속해서 위 발음나는데로 적은걸 이야기 해봐라. “Ooo(우~)”는 “scoop”(스쿠웁프흐)과 같이,”aaFF(아~프흐)”는 “after”과 같이, “Eh(에ㅎ)”는”pet”과 같이 말이다.

Ooo--aaFF--Eh. (우~--아~프ㅎ—에ㅎ)

소리가 꼭 you have to get같지 않나요?

자 이제 한 단계 더 나가서 손 거울을 잡고 편안하게 액팅이나 오버스러운 강조를 배제하고 그냥 you have to get을 말해보세요. 다시 한번 거울을 보고 입 모양을 유심히 살피면서 말해보세요

이제 “Ooo—aaFF—eh”를 반복해서 말해보고 입 모양을 다시 살펴보세요

말하는 것이 매우 비슷하다는 것을 느낄 수 있죠? 이와 같은 또 다른 예를 한번 들어 볼까요?

거울을 보고 I love you라고 말해보고 Elephant Shoes라고 말해보세요 입모양이 비슷하다는 것을 알 수있죠. 여러분은 연애 만세와 코끼리 발바닥처럼 두꺼운 족병 치료와 이렇게 가까운 줄 몰랐을 겁니다.

(농담으로 하는 말 같은데 “사랑해”와 “코끼리 신발”의 입 모양이 비슷해서 하는 말 같습니다)

 

The Devil is in the Details...

세부적인 것으로 GO GO

.

 

 

립싱크 애니메이션을 초점으로 좀 더 자세히 들여다 보자. 구문인 “You hafta get”에서는 하나의 특별한 포즈가 있는데, 여기는 두 번의 입을 벌리고 말하는 주요한 포즈와 입을 닫은 모양으로 말하는 주용한 포즈가 있다.

특별한 포즈가 뭐가 있냐 하면 YOU 라고 말할 때 입이 Ooo하면서 오므리는 것이다.

첫 번째 주요한 포즈는 “Hafta”라고 말할 때 입을 벌리게 만드는 “aa’가 있다.

두 번째 주요한 포즈는 “Get”이라고 말할 때 입을 벌리게 만드는 “Eh”가 있다.

마찬 가지로 첫 번째 주요한 포즈로 “Hafta”라고 말할 때, 입을 오므리게 하는 “FF”가 있다.

두 번째 입을 오므리게 하는 음소는 “Get”의 “T”가 있다. (확실히 입을 닫게 하는 포즈는 아니지만, 입 모양으로 봐서 열려있는 것보다 닫혀있는 모양에 더 가까우므로 우리가 판단하기에 닫혀있는 포즈로 보아도 무방하다.)

어떻게 되었든, 이렇게 You hafta get에서 파악할 수 있는 열린 입 모양과 닫힌 입 모양 두 부류가 있는데, 이것을 여러분이 필요한 것을 선택하는 것에 지나지 않는다. (머펫이 이걸 용케 해내는 데는 30년이 넘는 세월이 걸렸다고! 너무 쉽게 이야기 하는 거 아니냐!!)  이런 주요한 타깃 포인트는 폭이 넓은 붓으로 그림을 그리는 인상파 화가와도 같다. 이들 인상파는 형태, 대조, 구도, 연출 의 윤곽을 뚜렷하게 한다. 인상파 화가들이 넓은 붓으로 밑 그림을 그리고 그 위에 독특한 테크닉으로 세부묘사를 하듯이 여러분도 입 모양이 벌어지고 다물어지는 것에 더해서 독특한 테크닉으로 더칠 해나가야 한다

 

 

 

 

Principle #4: Get the Opens and Closes Done Right and Build On Those

네 번째 원칙: 정확하게 입 모양이 벌어지고 닫혀지는 것을 하고 거기에 무언가를 더 추가해라.

 

비록 여러분 중에 적절한 타이밍에 입 모양이 딱 맞아 떨어지더라도 이것은 잘 된 립싱크의 약 75%정도 밖에 안된다. 립싱크가 조금 들어간 애니메이션에서 여러분은 많이 할 수 있다. 그리고 이것이 의심스럽다면, 베지테일(미국TV 3D 애니메이션)이라는 애니메이션에서도 증명했듯이 애니메이트 된 입 텍스쳐 맵을 프로젝터해서 해보아라( 무슨 말인지..쩝)

 

(느낌상... 입 모양이 맞더라도 이건 완벽한 립싱크 애니메이션이 아니라는 말 같고.. 베지테일이라는 애니메이션은 립싱크 애니메이션에서 입 모양을 텍스쳐 맵으로 만든걸 애니메이트해서 작업한 거 같네요...베지테일이라는 애니메이션은 EBS에서 방영한다고 그러네요)

 

Getting Specific...

특별한 것들은....…

여기 좀 더 특별한 몇 가지를 알려주겠다. 여러분은 “You”의 “Yuh”로 시작하고 “Hafta”의 시작인 “aa”의 입 모양에서 좀더 벌려서 자연스럽게 흘러가길 원할 것이다.  하지만 별로 강하지 않은 YOU의 끝부분인 생략하고 “Ooo”모양으로 만들어주라. 여기서는 다음의 hafta 시작부분에 자연스레 흘러가도록 해줘야 한다.

 

 “hafta”에서 H는 목구멍 안쪽에서 나는 소리이므로 입술로 굳이 표현하지 않아도 된다. 그래서 보여주지 않고 넘어가도 무방하다.

 

hafta에서 입 모양 “aa” 적당하게 만들어주고 “F” 입 모양을 약 두 프레임 정도로 준다. 이것은 구문에서 닫힌 입 모양의 주요 부분이기 때문이고 고로 확실히 표시가 나도록 입 모양을 만들어주는 것이 필요하다.

 

그런 후에 “hafta”의 끝부분인 “ah”와 “Get” 의 “G”를 생략한다. 둘 다 날숨에서 나오기 때문이다.  

마지막 벌린 입 모양인 “Eh” 모양을 만들어준다.

그런 다음에 약간 다문 입 모양으로 “T” 발음 모양을 만들어 준다.

그러면 여러분은 아마도 “Ooo-aaFF-Eht” 말한다는 것을 느낄 거다. 그리고 아실랑가…이것만으로 충분하다는 것을… 가장 중요한 것은 흐름이다.자연스러운 것을 느낄 수 있게 하는 것과  입 모양이 튀어 보이지 않을 것이다.

 

There's Gotta be More. What about those T's and Stuff?

좀더 있는데, “T”랑 그 외의 것들은 어떡하라고?

 

이 물음에 대해 짤게 답해주겠다. 정말 필요하지 않다면 그걸 갖고 고생하지 마라. 내가 위에 말한 것들은 혀가 없이 하는 것들이었다. 하지만 여러분의 캐릭터가 혀가 있다면, 입안에서 발음되는 소리들이 어떤 것이 있는 지 알아야 된다. 입안에서 소리 나는 것들은 다음과 같다

L

Th

T

K

G (hard)

 

여러분의 작업에 혀가 추가되어있다면 다른 것 들처럼 인상적이게 해라. 그리고 쫌 쉽게 다룰 수있다.

유용한 팁중하나는 혀의 움직임을 매우 빠르게 하라는 것이다. 혀가 움직임이 바뀔 때, 2프레임 이상 유지 시키지 마라. 특별한 이유가 있지 않는 한… 그리고 또한가지는 발음을 할 때 단어에 L사운드를 추가해 보아라. 혀끝이 위쪽으로 향하는 모습. 예를 들면 bad에는 bald로 good는 gold로 명심할 것은 혀를 빠르게 가볍게 움직이도록 해야 한다는 것이다. 혀의 명확한 형태를 위한 조언인 거 같습니다.

Miscellaneous Tips & Tricks & Principles...

그 외의 팁, 트릭, 원칙들…

 

1) 한 프레임에서 또 다음 프레임으로 넘어가면서 입을 닫을 때 너무 크게 벌리지 마라. 정확히 입이 벌어지고 닫히는데 3프레임을 넘지 마라.

2) 입 모양을 정지돼 있게 하지 마라. “Ah(아)”입 모양은 말의 시작 할 때와 연음으로 이야기하는 것은 다르다.

3) “M”과”F”발음의 입 모양을 만들 때는 최소한 2프레임을 할당해라. 만약에 이것이 안 된다면, 앞의 사운드를 빼서라도 2프레임을 유지하게 해라.

4) 말할 때, 눈은 항시 타깃을 응시하게 하고, 말과 말 사이에 눈동자가 너무 리니어하게 움직이게 하지 마라.

5)대사에 맞추어서 입 모양 키프레임을 위치시키지 말고 약 한 2프레임 정도를 들리는 것보다 앞서 키프레임을 위치시켜라. 보통 사람이 듣는 것보다 보는 것이 빠르기 때문이다.

6) 입의 전형적인 앵글을 탈피하라. 입 모양을 위 아래로 좌 우로 때로는 이를 들어내고 으르렁거리는 것도 보여줘라. 캐릭터가 말을 할 때 감정도 같이 보여 줘야 한다. 우리는 웃으면서 말하고, 찡그리면서 말하고, 하품을 하면서도 말한다. 이런 것들이 여러분의 립싱크 애니메이션에 나타 나야 한다.

7) 두개골에 고정된 윗 이는 움직이지 말아야 한다.

8) 턱은 축을 기준을 회전되어야지 미끄러져서는 안 된다.

9) 여러분이 사운드 타깃을 만들 때 뺨과 코의 움직임을 간과해서는 안 된다. 우리가 말할 때 알게 모르게 뺨과 코가 움직인다. 페이셜 애니메이션에서 눈과 눈썹의 에니메이션에서 입 애니메이션으로 넘어 오는데 뺨과 코는 아주 밀접하게 연관이 되어 있다. 캐릭터가 연기를 할 때 캐릭터의 얼굴 전체에서 코와 뺨을 함께 움직이도록 해야 캐릭터가 연기를 한다고 믿을 수 있다.

10) 극단적인 연기를 하는 것에 두려워하지 마라. 피오나 공주와 파이널 판타지와 같은 립싱크 애니메이션은 피해라. 항상 대사 안에서의 에너지가 어느 부분에서 나오는지 생각하고, 큰 소리로 말할 때는 이 에너지를 표현하기 위해 입을 좀더 크게 해서 보여줘라. TV 아나운서들이 이야기 하는 걸 들어보면 꼭 아기들이 옹알거리는 얼굴 모양을 하고 있지 않냐..

 

Before You Go...

튜토리얼을 접기 전에

위에 적은 모든 것들이 도움이 되었으면 한다.  항상 서두에 말했던 4가지 원칙을 기억하고 립싱크 애니메이션 작업에 임한다면 자연스러운 애니메이션이 될 것이고 무엇보다도 중요한 것은 꾸준히 연습을 하는 것이다. 나의 모든 튜토리얼이 여러분의 작업 방향에 도움을 줄 것이라 생각되지만 가장 중요한 선생은 연습만한 것이 없다.