【科普作品】電影世界的動作捕捉系統 Motion Capture

這一期，一點也不像「實驗傳奇」。不是跟著一間實驗室，寫他們的互動或是研究成果，
而是寫motion capture 這項技術在台灣各個領域的應用。比較像是導覽吧！

怎麼講呢？這樣寫法比較淺、好懂、有趣也好拍攝，可是講不到太多科學，
有點喪失了我原本想把很難的科學講的簡單有趣的目的。

我也不知道到底怎樣比較好？所有的事情都很茫然...

謝謝各位受訪者的幫忙。謝謝視翔溫柔的秘書泡的好喝咖啡、奇銳的伙伴們的照顧和指導、透過小樽的指示我才找到pzman、透過pzman學了不少也才又找到一直不想理我的 Hero導演（泣...）、講得非常好的許允聖老師、文大攝影棚的主任、崑山的老師同學、還有元智中原大學的老師同學們。

當然還有非常認真的世慧和陪我（其實是我陪他）上山下海拍照的小黑。

謝謝大家的幫忙，也請你們持續給我批評指教。



---------

欄目：實驗傳奇
責編：世慧
字數：4936(正文)+935(BOX)
大標：虛實之間
副標：電影世界的動作捕捉系統

撰文/林韋萱(經典雜誌特約撰述)
攝影/劉子正(經典雜誌攝影)

二○○五年九月，美國加州卡佛(Culver)市。

凌晨六點，天微亮，演員温斯頓(Ray Winstone)手摀著熱咖啡，走到了化妝室，開始了他拍攝電影《貝武夫》的第一天。

《貝武夫》改編自英國史詩，講述的是維京勇士貝武夫為民除害的故事。男主角溫斯頓在經過兩個小時化妝後，除了臉上多了密布如青春痘般的藍色豆子，身上帽T變成緊身的「忍者裝」更凸顯他的禿頭大肚模樣，哪有半點英雄的派頭？

幸好，這只是部動畫，溫斯頓的身形最終不會出現在電影中。導演辛密克斯(Robert Zemeckis)要的只是他精湛的動作、表情與聲音，所用的技術就是他這幾年迷上的新玩具——「動作捕捉系統」(Motion Capture)，一套從不同角度捕捉演員動作的設備。

《貝武夫》的動作捕捉攝影棚，雖然只有羽球場大小，但四面八方卻如滿天星斗般散布著兩百四十四台紅外線攝影機；它們會從不同角度發出紅外線，照射到演員身上的光球(marker)，擷取光球座標，另外，還有十二架普通攝影機隨時記錄演出狀況。

為了不要妨礙紅外線穿透，所有的道具都是用鐵絲做成，有點類似元宵節提的燈籠骨架。雞腿是在打蛋器上頭綁著橡皮筋，演出時用手抓著握柄，再咬下橡皮筋就會有很逼真的效果。另外鐵絲做成的水壺中還有秤錘，如此拿起來才有搖晃的重量感。

除了捕捉演員的動作外，連馬匹也被請進棚內捕捉動作，眼看攝影棚內人仰馬翻，馬匹奔跑碰撞時不斷地把皮毛上的光球抖落，要不斷地重複黏貼。馬的氣味讓工作人員紛紛帶起口罩、不停地噴灑除臭劑，助理帶著手套蹲在地上清理馬的排泄物時酸溜溜地說：「這工作還真有趣！」這些小故事都記錄在《貝武夫》光碟的幕後花絮中。

《貝武夫》總共花了四十六天、八十一名演員參與拍攝動作捕捉。二○○七年上映，獲得兩億美元的票房佳績。其賣點除了五十歲的溫斯頓被塑造成有八塊肌的高大英雄、安潔莉娜裘莉的虛擬全裸、以及打打殺殺的大場面外，更捧紅了這個模糊了「真實」與「虛擬」世界的動作捕捉系統。

●Mocap在台灣

二○一○年，台灣高雄師範大學。

《木偶人—BBS鄉民的正義》是林世勇的第一部電影。三十一歲的他，透過網路發表動畫作品而有知名度。這回他想藉著動作捕捉系統技術結合動畫與真人，來探討BBS世界的事件與文化。

這四年來，導演身兼製片的林世勇，為了《木偶人》四處奔走說服金主支持。起初金主對以動作捕捉系統做出來的動畫非常沒信心，勉為其難投資後，片子拍到一半又開始起了撤資的念頭。還好，同樣使用動作捕捉系統而造成大轟動的《阿凡達》及時上映，讓《木偶人》的拍攝起死回生。

憑著時有時無的經費挹注，林世勇花了新台幣二十幾萬元租借到高雄師範大學的動態擷取攝影棚。七坪左右的空間中，十二架紅外線攝影機、一台電腦，拮据到連在國內外榮獲多座動畫獎項的動畫師黃楷迪都要兼任演員，才能搞定兩百多組動作。雖說經費人手有限，但預告片中的動畫效果，已讓對國產動畫瀕臨絕望的觀眾再度重燃期待。

雖然《木偶人》是台灣第一部利用動作捕捉系統拍攝的電影，但是動作捕捉系統不是什麼神奇的新玩意，簡單來說就是測量、追蹤、記錄演員或其他要捕捉的對象動作的一種設備。
台灣在九○年代左右，開始引進動作捕捉系統作為科學、醫療、運動分析的使用，例如陽明大學將動作捕捉系統應用於復健工程及輔具設計上，體育學院也將之做為運動分析使用。等到製作技術成熟，動作捕捉系統逐漸被量產和普及化，這套要價新台幣一、兩百萬元的設備，才被應用於電玩等娛樂產業。

如果大家有印象的話，歌手庾澄慶創造的虛擬偶像「哈寶寶」，便是動作捕捉系統的產物。台灣在近年也將它應用在傳統技藝數位典藏計畫上，比方說利用光纖式手套擷取布袋戲大師的指法；中國科技大學的許允聖，還曾經拿它捕捉過八家將的動作等等。

動作捕捉系統除了捕捉人的動作外，當然也可以捕捉動物的動作。在國外，馬、狗、猴子、大象、袋鼠、鬣蜥蜴、蜘蛛等動物的動作，都曾經被捕捉過。以應用的地點來說，從陸地、水中，到現在連太空站都有這套設備，可以觀察無重力狀態下太空人的動作。

動作捕捉系統的應用五花八門，但真正將動作捕捉系統發揚光大的卻是好萊塢的電影動畫產業。

●動作捕捉系統種類

傳統的動畫製作，一秒鐘需要設計二十四個畫面。以慢工出細活聞名的宮崎駿所開設的吉卜力動畫公司為例，一個動畫師一週只能做出五秒鐘的動畫，因此吉卜力總是動輒三、五年才能出產一部動畫。

理論上，動作捕捉系統的應用，可以大幅降低製作時間和成本。拿最近很紅的某動畫新聞來說，因為呈現的是新聞事件，必須講求時效性，不可能逐格精雕細琢，因此動作捕捉系統這時候就派上用場了。製作單位會先把演員的不同動作，如跑、跳、擁抱等分別錄製、建立資料庫，之後再套用到電腦中不同的人物模型上，製作成不同的新聞。舉個例子來說，第一則新聞是小孩追上母親、雙方互相擁抱，第二則新聞是運動員跑完全程後抱住一旁加油的觀眾。兩則新聞中的角色雖不一樣，但「跑」及「擁抱」等影像資料，卻可以重複套用在不同的人物模型上。

除了加速動畫製作流程，動作捕捉系統也常拿來捕捉比較特別的動作，比方說舞步、老人或小孩的動作、傳統技藝等。如此一來，動畫師就不用為了製作不同的角色，今天要揣摩街舞、明天要學少林功夫、後天又要詮釋小娃娃顛簸的走路姿勢了。

但你可能會說：「動作捕捉系統有什麼稀奇？我的眼睛也能觀察運動軌跡。」這當中差別在於，我們的眼睛絕不可能在一百二十分之一秒中精確記錄所有關節的動作，把動作資料輸入再對應上電腦中的人體骨架。

不同種類的動作捕捉系統，有各自的方式捕捉運動軌跡。最早期的「機械式」動作捕捉系統，要求演員都要全身套上，外形類似多處骨折病患所須穿戴的護具式「外骨骼」；演員活動時，外骨骼會跟著伸縮旋轉，並記錄各部位的「相對旋轉」量。既然是「相對旋轉」，機械式系統就可能誤判絕對位置。比方說，當一個人跳起來時膝蓋會彎曲，機械式系統可能會以為他是因為蹲下而膝蓋彎曲。另外，外骨骼會阻礙關節活動、長期穿戴不舒適，因此這套系統已經很少人在使用了。

「電磁式」動作捕捉系統則先製造了磁場，讓演員穿上裝設電磁接收器的服裝，透過磁場的強弱，來感應演員身上接受器的位移和轉動。這個方法最早是美國軍隊用來觀察飛行員的頭部動作，缺點是演員要揹著連到主機的連接線，活動起來不方便，外加磁場很容易被干擾，尤其是在這個手機氾濫的時代。

最常見的動作捕捉系統，就是我們在好萊塢電影花絮中看到演員身上貼滿小白點、攝影棚密布攝影機的「光學式」系統。這裡的攝影機和我們認知的稍有不同，他並不會錄製一般的影像，而是從不同位置閃爍著紅外線，紅外線打到演員身上黏貼的的光球，光球上有強烈的反光物質，攝影機記錄的就是這些光球的位置。

●麻煩一籮筐

對一台攝影機來說，它能夠記錄物體在二維平面中的座標，但是卻無法判斷垂直畫面的深度。想要判斷距離，就必須要有兩、三台以上的攝影機，「重疊」出物體在三度空間中所在的位置，這就是應用三角定位法——只要有兩個角度和一個邊長，我們就可以得到一個三角形。所以，當我們想知道一個光球的空間座標，需要兩台攝影機從不同角度拍攝，如果我們知道兩台相機的距離(邊長)和拍攝球的角度(兩個角度)，就可以得到球的位置了。

如果要讓擷取作業更加穩定，並能同時捕捉多位演員，就需要越多台攝影機。可以把攝影棚想像成棒球場，主審會有視野上的死角，因此通常都會有一組裁判和線審共同判斷位置。萬一有越多棒球在場上亂飛，就需要有越多裁判協助判斷。這也是為什麼一次要捕捉十幾個演員互動的好萊塢攝影棚，都會用到兩百多台的攝影機。

動作捕捉系統絕對不是攝影機架一架、光球貼一貼，電腦就會自動把影像記錄好讓動畫師應用。捕捉過程中需要大量的經驗來對付「遮蔽」、「雜訊」、「錯置」的問題。

光學式動態擷取系統很容易產生「遮蔽」的問題，因為肢體動作或是道具遮蔽了光球。這也是為什麼電影《貝武夫》在拍攝時用了很多鐵絲做成的道具，像是鐵絲水壺、或是鐵絲樂器等等。雖然說電影只捕捉演員的動作，並不會捕捉道具的軌跡，但是拍攝時還是需要有道具的輔助看起來會比較真實，總不能要演員坐著講話，卻讓演員一直蹲馬步吧！

另外光學式捕捉系統還有其他麻煩處，像是因為校正不良或是光球擠壓而產生的「雜訊」；因為點的位置太靠近或瞬間交錯而產生的「錯置」(比方說手縮在胸前，和手在胸前交叉，對攝影機來說是差不多的)等問題。

這些問題在攝影機少之又少的台灣更顯嚴重，就像許允聖說的「台灣就是要在限制中求生」。之前他所利用的台灣藝術大學虛擬攝影棚，場地小又低矮，演員手一抬高就會超出攝影機涵蓋範圍；又因為只有六台攝影機，稍微一個旋轉等動作，就會讓光球被遮蔽；加上他當時錄製的是以不斷繞圈為特色的八卦掌，遮蔽和錯置的問題就更嚴重了。

如果動作捕捉的最終目的是要用在電玩上，或許還可能要求演員妥協一下，手不要舉太高，或是避免旋轉，先錄製完大致動作後動畫師再來手調還原。但若要做文化保存，要求這些大師級人物為了配合場地限制，而不能正確呈現動作，可能就會讓大師覺得不被尊重，事後手調也不一定能呈現原味。

正因為有這些擷取上的問題，在錄製動作之後，還必須花上冗長的時間和大量人力來「清理資料」。這也是為什麼很多學校機關興沖沖購買光學式動作捕捉系統，後來卻發現沒有想像中好用而把它打入冷宮。

既然有這麼多空著沒用的攝影棚，為什麼不把回收攝影機集合起來，弄一個高規格的動作捕捉攝影棚呢？我懷著歐巴桑省錢心態問受訪者，大家都苦笑了。整合是一個太複雜又太政治的工作，這個領域缺乏不怕麻煩又能登高一呼的人。現在學校機關想著要消耗經費、廠商想辦法要賣設備、學生忙著找工作、拍片的要忙籌錢，每個人都自身難保，誰還管這個問題呢！

●傳統產業的批評

動作捕捉系統在台灣電影動畫產業被冷落，其實還有其他原因。國內的電影多為記錄片或是節奏緩慢的劇情片和小品，科幻片、動作片較少，因此比較不需要動作捕捉系統的輔助。也因此設備的建置成本大增，有心嘗試新技術的電影人，自然也就聞之卻步了。

相對於台灣的舉步不前，美國動畫捕捉系統在電影動畫產業中，一開始也走得不平順。一九六二年就開始利用動作捕捉系統操作數位角色的美國，面對的是新技術不被傳統電影動畫業認可問題。

一九九九年，美國《動畫世界》(Animation World？)雜誌曾經以此主題進行辯論。有些傳統手繪或逐格影描(rotoscope,將人物真實的動作連續拍照，再按照片一格一格描繪下來)的動畫師，認為動作捕捉系統算「作弊」。有趣的是，回顧動畫史，所有人都在尋找讓繪製流程更快速的方法，但是當動作捕捉系統漸漸普及，部分傳統動畫業先是唱衰，接著擔心受威脅而開始扣帽子。

使用動作捕捉系統的電影和動畫，在好萊塢一度被排擠。二○○一年第一部以全數位演員為號召的《太空戰士》，因為只捕捉演員動作而沒捕捉表情，讓角色的動作逼真但缺少靈魂，最後票房差到連動畫工作室都賠掉了。

接下來幾年，總算逐漸克服臉部動作捕捉的障礙。飾演電影《魔戒》「咕嚕」一角的瑟克斯(Andy Serkis)，被不少影評認為有資格提名奧斯卡最佳男配角，但反對聲浪認為這個角色使用動作捕捉系統輔助，因此不能算是本人演出；《阿凡達》導演柯麥隆(James Cameron)早在一九九五年就開始構思劇本和拍攝方式，被不少人笑說「瘋了才會去嘗試」。好不容易等到科技發展純熟，他終於拍了片並創造佳績後，本屆奧斯卡評審果然還是認為只要使用了動作捕捉系統，演員就不算真的演員，動畫也不算真的動畫。要不是這幾部電影都名利雙收，否則還真得為這些真實與虛擬的混血兒感到心酸。

幸運的是，台灣不需要杞人憂天，我們的動作捕捉技術和使用規模還遠遠不夠強大到威脅傳統動畫與電影產業。一方面是相對於好萊塢隨便都有兩、三百台，全台灣最大的動作捕捉攝影棚只有十六台攝影機，頂多同時捕捉兩、三個演員；外加我們的文化一向強調安全、保險為上策，沒人敢衝第一，大家都在觀望著先驅如何壯烈犧牲。

目前，除了命運未卜的《木偶人》，代理動作捕捉系統的奇銳科技也協助了另一部電影拍攝，動作捕捉技術，終於在台灣電影業插上一腳。

曾有位世新大學老師說過：「台灣的動畫環境並不適合有理想的學生發展」，但仍有些人自願或不得已留守在台灣為動畫領域而努力。像是負責《木偶人》動畫擷取的楊中岳就說：「不管怎樣的爛環境總有自己能先做好的地方。」明年，若這幾部電影得以上映，除了欣賞劇情與背後的科技外，也請感念一下這些年輕電影人在虛擬與真實、理想與限制間的擺盪與掙扎。



BOX:打破虛實的界限

視翔科技小小的攝影棚，很久沒這麼熱鬧了。約莫十個元智和中原大學的研究所師生，進行結合虛擬實境和動作捕捉的實驗。演員努力擠進緊身的動作擷取服，身材畢露被大家糗了一番。因為過於悶熱，幾個人還沒開始擷取就滿頭大汗，想喝點水卻又被阻止：「等一下不能上廁所喔！」免得要重新穿脫擷取服會耽誤時間。

這屬於人因工程(Human Factor Engineering,了解人體的條件與限制，以此為依據進行產品設計的領域)研究的一環。研究生花了一年多在電腦中建立虛擬的船艙控制台，裡面有高高低低數部電腦機台，這個研究，就是用來檢視控制機台的設計是否會造成維修人員的不便。

這天是第一次把虛擬實境套用上動作捕捉系統，讓真人戴著可以看到虛擬船艙的立體眼鏡，去拆卸、維修控制台的電腦螢幕、電源線等等。

他們的理想是，以虛擬實境作為未來真正施工的參考。如果在虛擬控制台的維修不順手，比方說機台下方的門蓋太小或是螢幕過高等問題，都可以在虛擬實境的階段及早發現，如此就可以節省真正施工後的改動。

電玩界其實早就結合動作捕捉和虛擬實境了，像是Wii的搖桿中有加速規、陀螺儀來感應玩家的手部動作，電視螢幕旁裝設的紅外線和藍芽系統可以捕捉玩家的位置以和電玩畫面互動。最近微軟新推出的一套電玩，更主打不用任何遙控器，直接凌空比畫就能同步控制電玩螢幕中的人物。電玩遊戲只需兩台攝影機，一台RGB攝影機，負責辨識臉部和播放影像，另外一台紅外線攝影機則可追蹤動作和移動的深度。

電玩是將真人動作放入虛擬世界，但若把動作捕捉的概念倒過來使用，就可讓虛擬世界進入真實世界中，就像電影《關鍵報告》裡的克魯斯凌空控制電腦影像的技術。麻省理工學院媒體實驗室的印度研究生米斯崔(Parnav Mistry)研發了第六感介面，利用掛在脖子上的小型電腦，結合投影機、攝影機、鏡子、麥克風，組合成可以捕捉手部動作與電腦、網路互動的介面：在手上畫個圈，就會出現虛擬手錶告訴你時間；用手指比出個框，就能隨處拍照；看到雜誌上有什麼精采的照片，也可以用手把圖片「捏著」直接放進全尺寸的的電腦螢幕裡。

動作捕捉系統的應用從人體、動物、到布料的飄動；從水中到外太空皆無所不在，不論是在娛樂、醫療，或工程設計的領域裡，都結合了數位與真實世界……。從動作捕捉系統裡，我們看到科技應用發展的高度與廣度，全來自人類的膽識與想像。