🎯 חשיבות הנושא
בפרק זה נסביר את מושגי היסוד של VR-360 ואת האופנים שבהם הם מתבטאים בעשייה ובמוצר המוגמר.
ד.2 תנועות הצופה ודרגות החופש בצפייה.
ד.3 פרישת כדור ה-360 מעלות.
ד.4 שדה הראייה ועומק הפריים.
ד.5 אודיו מרחבי – אמביסוניקס (Ambisonics).
- התלמיד יכיר את מושגי היסוד של VR-360.
- התלמיד יכיר את מנגנוני הפעולה של וידיאו 360.
🔑 מושגים מרכזיים
ד.1 כדור ה-360 מעלות
VR-360 הוא למעשה פנורמה סגורה בצורת כדור שהצופה נמצא במרכזה. שדה הראייה של הצופה כולל את כל הכדור, אופקית ואנכית.
מקור:
מצלמות 360 מעלות כוללות לפחות שתי עדשות רחבות שמכסות את כל הכיוונים מסביב למצלמה. התמונה המוקלטת בכל אחת מהמצלמות נושאת אופי כדורי. תמונות אלה נפרשות להטלה דו-ממדית ומוצמדות יחד להטלה משותפת הנסגרת לכדור שהצופה נמצא במרכזו.
קווי תפר (stitch lines)
VR-360 מצולם בכמה עדשות המחוברות יחדיו. התמונה המקיפה הנוצרת מחיבור הצילומים של כל העדשות וקצות הפריימים שבהם הצילומים מתחברים נקראים קווי תפר. קוי תפר גלויים יפגמו קשות בחוויית ה-360, ולכן הם חייבים להיות מוסתרים.
הצמדת קווי התפר (stitching)
המצלמות של היום, שמיועדות הן למקצוענים והן לצרכנים, מאפשרות להצמיד את קווי התפר באופן שלא יורגשו, בצורה אוטומטית או באמצעות תוכנה שהן מספקות.
זנית ונאדיר Zenith, Nadir
אלה שני מושגים השאולים מאסטרונומיה. ב-VR-360 זנית הוא האזור בתוך הכדור הפנורמי שנמצא בדיוק מעל הצופה (המצלמה), ואילו נאדיר הוא האזור שנמצא בדיוק מתחתיו.
ב-VR-360, כשהצופה מרים את ראשו ב-90 מעלות כדי להסתכל למעלה, הוא רואה את הזנית כחלק טבעי משדה הראייה שלו. אך מה הוא רואה כשהוא מוריד את ראשו ב-90 מעלות לעבר הנאדיר? מה שנשקפת בפניו היא כמובן החצובה שעליה עומדת המצלמה. זאת הפרעה בלתי נמנעת בצילום VR-360 שעלולה לפגום בחוויית הנוכחות של הצופה. בהמשך נראה פתרונות אפשריים לבעיה. גם הזנית יכולה להפריע, כי יש שם צפיפות גבוהה של פיקסלים שמתנקזים לנקודה אחת, אך זאת בעיה פחות קשה שלא תמיד צריך לפתור.
ד.2 תנועת הצופה ודרגות החופש בצפייה
דרגות החופש הן סך כל מגוון התנועות שאפשריות לצופה בסרט VR. יש שתי דרגות חופש: 6DoF ו-DoF3.
במרחב תלת-ממדי קיימים שישה סוגי תנועה בסיסיים המתאפשרים לצופה:
- YAW – ציר אופקי (כמו תנועת PAN של מצלמה).
- PITCH – ציר אנכי (כמו תנועת טילט של מצלמה).
- ROLL – ציר מצד לצד (כמו הטיית המצלמה לשני הצדדים מבסיס החצובה).
- SWAY – תנועה ימין-שמאל (כמו תזוזת מצלמה עם דולי ימין-שמאל).
- SURGE – תנועה קדימה-אחורה (כמו דולי אין ודולי אאוט של מצלמה).
- HEAVE – תנועה למעלה-למטה (כמו תנועת קריין של מצלמה).
YAW, PITCH, ROLL הן תנועות שמשנות את אוריינטציית הצפייה במרחב, כלומר את תנועת הראש של הצופה.
SWAY, SURGE, HEAVE הן תנועות שמשנות את המיקום במרחב, כלומר את תנועת הגוף של הצופה.
דרגות החופש DoF
כאשר מאפשרים לצופה את כל ששהתנועות הנ"ל, נותנים לו שש דרגות חופש. זה נקרא DoF6.
DoF6 אפשרי במרחבים תלת-ממדיים מלאכותיים, כגון עולמות וירטואליים של חלק ממשחקי המחשב. בצפייה בווידיאו VR-360 אנו יכולים להביט מסביבנו אך ורק מהמקום שבו הסרט צולם. אין ביכולתנו לזוז כי הסרט צולם רק מנקודה במרחב שבה הוצבה המצלמה. אם נצפה בסרט 360 באמצעות התקן ראש ונתחיל ללכת קדימה, אחורה או לצדדים או נתכופף – נקודת המבט שלנו לא תשתנה מכיוון שהמיקום שלנו במרחב לא יכול להשתנות. נוכל רק לעשות את שלוש התנועות הראשונות שהוזכרו לעיל, שהן תנועות ראש: YAW, PITCH ו-ROLL. זה אומר שיש לנו שלוש דרגות חופש – DoF3. אולם אל לנו להשוות את דרגות החופש שלנו ב-VR-360 לאלו המשמשות עולם וירטואלי מלא ולהיות מתוסכלים. ההשוואה הנכונה והמתבקשת היא DoF3 לעומת אפס DoF של צפייה בסרט דו-ממדי!
ד.3 פרישת כדור ה-360 מעלות
הטלה
אחד הפרמטרים החשובים בקידוד ובנגינה של סרטי 360 הוא סוג ההטלה. מכיוון ש-VR-360 הוא וידיאו כדורי, עלינו "לפרוש" את הווידיאו הכדורי על פני מישור דו-ממדי לצרכים שונים, כגון עריכה, יצירת קובץ, העלאה לפלטפורמות נגינה וכו', אך בראש ובראשונה כדי לחבר בין תמונות שצולמו בעדשות שונות שמרכיבות מצלמת 360 מעלות.
סוג ההטלה הוא הצורה שבה נעשית הפרישה. יש כמה דרכים לעשות זאת. כולנו מכירים היטב לפחות הטלה אחת:
הבעיה המרכזית שסוגי הטלה שונים מנסים לפתור היא עיוות התמונה הכדורית כאשר פורסים אותה להטלה שטוחה. הטלה טובה יותר תנסה תחלק את הפיקסלים באופן שווה על גבי התמונה השטוחה.
סוגי ההטלה עיקריים
הטלה מלבנית – (Equirectangular (ERP
זוהי ההטלה שכולנו מכירים מפרישת כדור הארץ לצורה של מלבן. ההבדל בין פרישת כדור הארץ לפרישת כדור ה-VR הוא שבכדור הארץ אנו צופים מבחוץ ואילו בכדור ה-VR אנו צופים מתוך הכדור. הטלה זו ממפה את ה-YAW(הציר האופקי) ואת ה-PITCH (הציר האנכי) של הכדור למלבן.
הטלת קובייה – Cube Map
הטלה זו מתרגמת וממפה את הכדור לשש פאות קובייה.
(Equi-Angular Cubemap (EAC
זוהי וריאציה של הטלת קובייה המפזרת את הפיקסלים של תמונת הכדור על פני הפרישה השטוחה באופן שווה לפי זוויות. הטלה זו פותחה בחברת גוגל, ויוטיוב עושה בה שימוש בעיבוד סרטי 360 המועלים לאתר. אם נוריד סרטון מיוטיוב, נגלה שנגני וידיאו 360 הרגילים לא יוכלו לנגן אותו בגלל הטלת ה-EAC.
ישנן מעט מאוד תוכנות שיכולות לנגן וידאו עם הטלה זו. אחת מהן היא potplayer שמאפשרת נגינה תקינה של הטלות שונות:
הטלת פירמידה
זוהי וריאציה נוספת של הטלת קובייה המשתמשת בגיאומטריה של פירמידה שפותחה בחברת פייסבוק. הטלה מורכבת זו נועדה לחסוך רוחב פס.
לחלק מסוגי ההטלה יש תת-סוגים.
אף על פי שההטלה המלבנית (Equirectangular) מעוותת את התמונה יותר מאשר חלק מההטלות אחרות, היא גם פחות מורכבת מהן. בהטלה זאת משתמשות רוב המצלמות וכל תוכנות העריכה.
מבט מעמיק על סוגי ההטלה:
ד.4 שדה הראייה ועומק הפריים
שדה הראייה
הפריים שאנו רואים בצפייה דרך משקפי VR הוא חלק קטן מסך כל התמונה של הכדור הווירטואלי שאנו נמצאים בתוכו. כשנזיז את ראשנו ישתנה הפריים. לעומת הצפייה הפסיבית בסרט רגיל שבו הפריימים, תנועות המצלמה והעריכה נקבעו מראש על ידי היוצרים, בסרט 360 הצופים יוצרים בעצמם את הפריימים ואת תנועות המצלמה וכתוצאה מכך את העריכה. העבודה של היוצרים היא ליצור את פוטנציאל שדות הראייה של הצופים שישרתו את הנרטיב של הסרט.
וידיאו מונוסקופי ווידיאו סטריאוסקופי
אם נעצום עין אחת, הראייה שלנו תאבד את תחושת העומק המרחבי שראייה בשתי עיניים מעניקה לנו. כך גם ב-VR-360, שיכול להיות מונוסקופי וסטריאוסקופי.במונוסקופי כל עדשה של מצלמת ה-VR-360 מצלמת רק את מה שעין אחת רואה. בסטריאוסקופי כל אחת מהעדשות היא למעשה שתי עדשות ויכולה לצלם מה ששתי עיניים יכולות לראות. המשמעות היא שבסרט 360 סטריאוסקופי קיימת תחושת עומק רבה יותר.
נציין כי עד כתיבת שורות אלה, הרוב המכריע של סרטי VR-360 שצולמו הם מונוסקופיים מכיוון שהצילום הסטריאוסקופי הרבה יותר יקר ומורכב מהצילום המונוסקופי.
היתרונות של הצילום המונוסקופי באים לידי ביטוי במצלמות זולות יותר, ברזולוציה גבוהה יותר או בקבצים קטנים יותר, ובתהליכים פשוטים יותר בפוסט-פרודקשן.
180VR
אם VR-360 מכיל בסך הכול 360 מעלות מסביב למצלמה, 180-VR מכיל פשוט חצי מזה. אם אנו מצוידים במשקפי VR, בסרט 360 אנו יכולים לראות את כל מה שסביבנו. לעומת זאת, ב-180-VR שדה הראייה הכולל שלנו מוגבל ל-180 מעלות, שהוא די צר. סיבוב ראש קטן מאוד מספיק לכסות 180 מעלות. מצד אחד, לא נוכל לראות דבר מעבר לשדה הראייה של 180 מעלות. מצד שני, נשאלת השאלה אם אין מקרים שזה יכול להספיק. התשובה חיובית בהחלט. למשל, אם המצלמה היא על במה, לא תמיד מה שמתרחש מחוץ לבמה הוא רלוונטי.
מופע ריקוד ב- 180VR סטריאוסקופי
ד.5 אודיו מרחבי – אמביסוניקס (Ambisonics)
אמביסוניקס הוא סאונד מרחבי בתוך כדור ה-360 מעלות. בנוסף למרחב האופקי, אמביסוניקס מכיל גם מקורות קול מעל לצופה ומתחתיו.
בפורמטי סראונד או סטריאו הרגילים ערוצי הקול נשלחים לרמקולים ספציפיים שנקבעו מראש בעיצוב הפסקול. הצופים שומעים את הקולות המושמעים מכל אחד מהרמקולים במערכת ההשמעה, כפי שנקבע מראש. זה מתאים מאוד לצפייה בסרט דו-ממדי רגיל, כי הסרט נמצא מול הצופה ואין לו שום צורך לסובב את ראשו כחלק מהצפייה.
באמביסוניקס הערוצים לא נשלחים לרמקולים ספציפיים. במקום זאת הערוצים מכילים ייצוג של שדה קולי בתוך כדור 360 מעלות. כך, הקולות יישמעו מכיוון המקור שלהם בהתאם לסיבוב הראש (האוזניים) של המאזין. כלומר, אם למשל נשמע מאחורינו קול מסוים, כשנסתובב לכיוון הקול הזה הוא יישמע לפנינו. אם קול אחר נשמע מימיננו, כשנסתובב ב-180 מעלות הוא יישמע משמאלנו.
למרבה הפלא, אפשר להקשיב לשדה האמביסוני באוזניות ראש רגילות.
האמביסוניקס מתאים, כמובן, ככפפה ליד לסרטי VR-360. בסרט 360 עם סאונד אמביסוני הקולות יישמעו מכיוון המקורות שלהם בהתאם לסיבוב הראש, מה שיעצים את תחושת הנוכחות בצפייה באמצעות משקפי VR עם אוזניות ראש.
הדגמת סאונד אמביסוני בסרט 360. חובה להקשיב באוזנות ראש. אפשר לצפות ממסך המחשב או עם משקפי VR.
בהקלטת קול אמביסונית עושים שימוש בארבעה מיקרופונים המופנים לכל הכיוונים, כולל למעלה ולמטה. ארבעת המיקרופונים משולבים ליחידה אחת. לחלק ממצלמות ה-VR יש מערך מיקרופונים פנימי כזה, אך קשה לצפות שאלה יקליטו סאונד איכותי יותר ממיקרופוני המצלמות הרגילות.
מבט על מיקרופונים אמביסוניים
לקבצים של אודיו אמביסוני יש שני סוגי פורמטים: A Format ו-B Format.
ההקלטה הגולמית של כל אחד מארבעת המיקרופונים היא ב-A Format, שאינו ניתן להשמעה אמביסונית. על כן צריך להמיר את ההקלטות ל-B Format שהוא הקובץ האמביסוני המכנס את ארבעת הערוצים לתוך ערוץ אחד המחולק לארבעה. זהו הקובץ שמייבאים לפרמייר. המיקרופונים האמביסוניים מגיעים עם תוכנת המרה.
הסבר על פורמטי האמביסוניקס
- צלמו מספר גרסאות של שוט 360 שמעביר נוכחות במקום.
- צלמו שלוש גרסאות, ובכל גרסה הציבו את המצלמה במקום אחר.
- השוו את הגרסאות כדי לראות איזו מתאימה יותר להעברת התחושה של המקום.
שאלות
- מהי החוויה הייחודית שבצפייה בסרט 360?
- כיצד באה לידי ביטוי חוויה זו בסרטים לדוגמה שצפיתם בהם?
- מהם סוגי משקפי VR ומה ההבדלים ביניהם בצפייה בסרטי 360?
- כיצד פועלים משקפי VR?
- כיצד מתאימים את משקפי ה-VR לשימוש אישי?
- מהי הסכנה בשימוש ממושך במשקפי VR וכיצד נמנעים ממנה?
- לאחר צפייה בכל סרט במשימת הצפייה התלמידים יתארו את החוויה שלהם מהסרט:
- באיזו מידה הם הרגישו נוכחים במקום?
- באיזו מידה הם חוו את ההתרחשות?
- האם חסרה להם הכוונה?
- האם חשו הכוונת יתר?
- האם לדעתם סרט שטוח רגיל היה עובד טוב יותר?