En este video os explico como utilizo la cámara Ricoh Theta para VFX lighting acquisition. Además os muestro el proceso de creación de un rig image based lighting utilizando el material capturado.

Este es el equipo utilizado.

Captura de pantalla de Nuke.

Captura de pantalla de Maya.

Render realizado durante el ejercicio.

Los miembros de elephant vfx pro podéis descargaros el material de trabajo desde vuestra cuenta.

Esta es la primera parte de un artículo compuesto de dos partes, donde hablamos de technical grading en visual effects.

Color correction vs color grading

Lo primero que necesitamos aclarar es la diferencia entre color correction (o tech grading) y color grading.

Color grading, son correcciones de color y luminosidad que realizamos a un footage o render basado puramente en conceptos subjetivos. Para crear drama, por razones estéticas, etc. Lo único que nos importa es la apariencia visual, no los valores de la imagen.

Color correction o tech grading, es el proceso mediante el cual corregimos el color/luminosidad de una imagen con respecto a otra, con el menor número de errores (valores matemáticos). La imagen de referencia que utilizamos para realizar el tech grading tiene unos valores conocidos, de ahí que se llame referencia, y generalmente estos valores vendrán dados por un Macbeth Chart color checker capturado bajo unas condiciones lumínicas conocidas.

También incluye el proceso de linearización, necesario para trabajar en visual effects, ya que los motores de render trabajan siempre de forma linear, además, de que la luz en el mundo real también se comporta de forma linear. Generalmente los plates de cine, o las fotografías provienen de una cámara que no ha sido calibrada de forma rediométrica, por lo tanto, no son lineares. ¿Por qué? Básicamente porque un footage linearizado no es bonito, además de que el ojo humano no percibe la luz de forma linear. Por lo tanto necesitamos linearizar todo el footage antes de continuar en un pipeline de VFX. Es indispensable que todo el material que utilizamos en un proyecto de VFX viva bajo el mismo contexto.

¿Cómo funciona?

Tenemos que leer cada color swatch del Macbeth Chart en la referencia y sus equivalentes en el footage donde necesitamos realizar el tech grading. Mediante sustracciones y adiciones los valores del destino se corrigen para acercarse lo máximo posible a los valores de la referencia. Las matemáticas son lineares (2+2=4) así que el footage necesita ser linear. Si no lo es, tenemos que linearizarlo antes.

Un render siempre es linear y con primarios sRGB. El footage de una cámara de vídeo/fotos no suele ser así. Como decíamos antes, la razón es que un footage linear no es bonito, pero linear es lo que necesitamos para que las matemáticas funcionen. En este estado no nos importa que el footage sea bonito o no, nos importan sus valores numéricos. Renders y footage han de vivir bajo el mismo contexto (linear) para que la composición tenga éxito.

Es importante tener en cuenta, que este proceso (linearising + tech grading) no es perfecto, siempre se generan algún tipo de errores numéricos, aunque intentamos que sean los mínimos posibles. Siempre hay espacio para eye-balling a posteriori.

¿Como se lineariza una imagen?

Necesitas tener puntos conocidos en el footage, y probablemente nada viene mejor que los grey swatches de un Macbeth Chart. Esos swatches van a devolver prácticamente toda la luz rebotada entre 380nm y 780nm. Con esto quiero decir que una fuente lumínica blanca, después de impactar en un swatch neutral grey, va a devolver prácticamente la misma luz hacia nuestros ojos (o sensor de cámara). Como estos swatches son neutrales, la luz no se va a tintar del color de su superficie.

En este punto conocemos los valores de esos neutral swatches en la vida real y también los valores que tiene en el footage. En Nuke, podemos fácilmente mediante color lookups mapear los valores del footage para que tengan los valores que deberían de tener en el mundo real.

Con los 6 swatches grises deberíamos de tener más que suficiente. Puede que algunas características del footage, como el grano, causen problemas de vez en cuando, pero en general, con los 6 neutral grey swatches deberíamos de ser capaces de linearizar el plate. Otro problema es que generalmente no conocemos las fuentes lumínicas que impactan en los swatches del Macbeth Chart, pero esto es algo con lo que tenemos que vivir, de ahí que siempre haya espacio para eye-balling.

¿Cómo se realiza el white balance?

Una vez el footage ha sido linearizado, necesitamos un color matrix para ecualizar los valores de nuestro Macbeth Chart acorde con los valores del mundo físico, o con cualquier otro valor que sea nuestra referencia de color.

Una vez la linearización y el white balance han sido realizado al plate con Macbeth Charts, basta con crear clones y aplicarlos al resto de footage filmado con las mismas características lumínicas y de cámara. También hay que aplicar todos los ajustes a las referencias lumínicas (esferas). Cualquier material filmado y fotográfico ha de vivir bajo el mismo contexto.

¿Y luego qué?

Una vez todo el footage y referencias han pasado por el tech grading, lo siguiente que debemos corregir son los HDRIs que utilizaremos para lighting y look-dev. El proceso es el mismo que con el footage. Aunque trabajaremos con un mayor rango dinámico.

Cuando tengamos todo el material viviendo bajo el mismo contexto, ya estaremos preparados para continuar nuestro trabajo tanto en 3D como en 2D.

Una parte muy importante a tener en cuenta, es que el tech grading ha de ser revertido en compositing. Los compositores generalmente trabajan con source plates o graded plates, no con los plates que nosotros hemos generado tech grading. Así que los compositores necesitarán revertir nuestro tech grading para aplicarlo a nuestros renders 3D. De esta forma todo el material footage y 3D volverá a vivir bajo el contexto en el que fue creado por el DP.

Información adicional

  • ¿Dónde puedo encontrar los valores del mundo físico con los que comparar mis Macbeth Chart de mi footage?

Aquí: http://www.babelcolor.com/colorchecker.htm#xl_CCP1_NewSpecifications
Aunque si quieres ahorrarte trabajo, en lugar de construir tu propio matrix en Nuke, puedes descargarte gratuitamente el gizmo mmColorTarget aquí: http://www.nukepedia.com/gizmos/colour/mmcolortarget

  • Para la linearización, estaría bien tener los valores de los grey swatches

Aquí los tienes.
Los valores lineares son aproximadamente 3%, 8.5%, 19%, 35%, 58% y 91% reflectance of the light. Traducido a valores RGB seria 0.031, 0.086, 0.187, 0.35, 0.57, 0.91

Ten en cuenta que el valor del neutral grey mid point es 18% y no 45-50% como seguramente pensabas. Esto es porque la medición es radiométrica, y los humanos no percibimos la luz de forma linear (aunque lo sea). Así que cuando necesites crear por ejemplo una esfera gris digital, su valor RGB no sera 0.5 si no 0.18

En la segunda parte de este artículo, haremos un ejemplo práctico.

 

He creado unas tarjetas o cheat sheets que me ayudan en mi proceso de creación de HDRIs para tareas de look-dev, lighting y matte painting. En el video que podéis encontrar más abajo os explico como las estoy utilizando.

Los suscriptores de elephant vfx pro, podéis descargaros el material que utilizo en la demostración, desde vuestra cuenta.

Vista de la biblioteca de la Universidad

Durante el mes pasado, he estado impartiendo clases en Jönköping University - Campus i12 en el Undergraduate Programme of Visual Effects (120 credits). Concretamente he estado trabajando en el curso "Supervisión en set de rodaje para VFX" (9 credits). Los organizadores y profesores del curso hemos sido, Philip Maddock (Prime Focus, The Mill) Misho Ristov (Framestore, Dneg, ILM), Xuan Prada (MPC, Dneg, Framestore) y Sofia Delis (Campus i12 programme manager).

Durante un mes y a semanas alternas, los profesores hemos tratado diferentes tópicos a considerar cuando se supervisa un proyecto audiovisual en set de rodaje y que requiere efectos visuales. Las clases se han alternado con prácticas por parte de los alumnos, los cuales debían completar un proyecto propio realizado en grupo por un conjunto de estudiantes de 3D y de 2D, el cual incluye trabajo en set de rodaje, procesado del material recogido, creación de contenido 3D, composición, color grading y delivery. En resumen, un proyecto de efectos visuales completo, pasando por todas las etapas más comunes hasta presentar el producto final.

El único criterio impuesto por el profesorado a la hora de realizar el proyecto, es que tenía que cumplir con las características de lo que denominamos "Tiny VFX". Estos son algunos de los ejemplos que pusimos a disposición de los diferentes grupos de alumnos.

Resultados previstos del aprendizaje

Una vez terminado el curso, los estudiantes deberían

  • Demostrar los conocimientos claves a la hora de capturar survey data de un set de rodaje
  • Ser capaces de juzgar que tipo de survey data es necesario para cada plano y los procesos a desarrollar para capturar cada tipo de dato relevante
  • Procesar los datos recogidos para ser utilizados en un pipeline de VFX (data ingestion)
  • Utilizar los datos recogidos para la creación de assets y planos foto realistas
  • Ser capaces de realizar un proyecto de efectos visuales de principio a fin utilizando todo lo explicado en el curso

Contenido del curso

Tópicos generales del curso, desarrollados en profundidad durante las clases

  • El entorno de producción cinematográfico
  • Roles y responsabilidades en un set de cine
  • Preparación de data sheets y shooting templates
  • Captura de información de cámara y lente
  • Captura de información para tracking y matchmoving
  • Proceso profesional de captura de lens grids
    • Spherical lenses
    • Anamorphic lenses
    • Primes
    • Zooms
  • Green screen / blue screen
  • Captura de información para look-dev
    • HDRIs
    • Tipos de setups / assets
    • Material samples
  • Captura de información para lighting
    • HDRIs
    • Iluminación espacial
  • Captura de información para la creación de assets digitales
    • Modelado
      • Fotografias
      • Photogrammetry
      • Mephisto scanning
    • Texturizado
      • Cross polarization
      • Photogrammetry
    • Actores digitales
  • Mapas, bocetos e información de volumen y espacio
    • Photogrammetry
    • Lidar scanning

Una de las clases en Campus i12

Asignación de trabajo en grupo

El proyecto asignado se basa en el criterio "Tiny VFX". El paradigma principal consiste en un shooting correspondiente a un area muy pequeña donde haya que integrar assets digitales. El objetivo final consiste en realizar una integración de no más de 30 segundos, donde siempre prime la calidad por encima de la cantidad.

En grupos de 10 personas (3D + 2D) los alumnos deben desarrollar una idea con cierto énfasis narrativo, pero donde predomine lo visual. Con la idea concebida, deben presentarse las propuestas apoyándose en synopsis, bocetos y storyboards. Un styleframe/moodboard para vender la idea será considerado como opcional. Se deben valorar los aspectos artísticos y técnicos involucrados en el desarrollo del proyecto.



Requisitos indispensables

  • El escenario donde se desarrolle la acción, ha de ser live footage y no ocupar una porción de más de 2x2 metros cuadrados
  • Todos los planos han de estar compuestos por elementos live y elementos 3D como mínimo. No full cg shots
  • Tiene que existir algún tipo de animación
  • La duración completa de la pieza no excederá en ningún momento los 30 segundos, y como mínimo ha de contener entre 2 y 4 planos
  • Estilo abierto

Entrega

  • Delivery final en Quicktime full HD
  • Visual breakdown
  • Breakdown escrito
  • Behind the scenes

Equipo y software

Los alumnos contarán con equipo de trabajo estandard, incluyendo cámaras de cine digitales, DSLRs, trípodes, shooting boards, luces, platós y green screens, etc. Del mismo modo, los alumnos tendrán acceso al software más común de la industria, incluyendo software de producción y gestión de tareas.

¿Quieres saber más sobre este curso, o realizar uno similar en tu universidad? Ponte en contacto conmigo para conocer todos los detalles.

En este vídeo muestro como neutralizar referencias fotográficas para mantener la consistencia entre imágenes fotografiadas en set. A diferencia de como muestro en algunos de mis cursos, en esta ocasión no utilizo Nuke, si no que, utilizo Adobe Lightroom, ya que en muchas ocasiones no dispondras de Nuke en un set de cine.

También anuncio un nuevo proyecto formativo que me estoy planteando para elephant vfx.

Nota: Este post contiene información exclusiva para los miembros de elephant vfx pro.

A raíz de las imágenes Legos que estoy haciendo de vez en cuando, me preguntan sobre como me planteo este tipo de imágenes. Como ya comenté en su día, la idea es muy sencilla, al igual que su ejecución. Lo importante, realizarlas en unas pocas horas.
Me llegan dudas sobre modelado, lighting, look-dev, etc. Una de las preguntas, era sin embargo sobre cual es mi proceso para recrear la cámara virtual, para matchear la cámara real. Como se tratan de stills, o imágenes fijas, es muy sencillo, aunque los principios de tracking y matchmoving son exactamente los mismos que con secuencias de imágenes. La ventaja, no necesitamos ningún software de matchmoving o tracking, lo podemos hacer fácilmente con cualquier software 3D.

  • Voy a ilustrar este ejemplo con esta imagen. A modo de "helper" he colocado en el suelo unos libros, podría haber sido una caja o cualquier otro objeto que nos indique dos lineas de fuga, para poder asi matchear la perspectiva.
  • Como con cualquier otra tarea de matchmoving y tracking, conviene conocer algunos datos de la cámara. Como por ejemplo, el focal lenght, la altura del tripode, el tilt (orientación) tamaño del sensor, etc.
  • Podemos comprobar toda esta información gracias a los meta datos, tanto en Nuke como en Photoshop (ojo, que todavía hay gente que utiliza Photoshop).
  • El siguiente paso es crear una cámara en Maya e introducir los valores de focal length.
  • También conviene ajustar el clipping plane, para poder ubicar nuestra escena. Se puede cambiar a posteriori.
  • En las opciones de film back de la cámara, vamos a poner el film gate como horizontal, ya que esa ha sido la posición de la cámara real.
  • Añadimos como image plane la fotografía.
  • Incrementamos el valor depth ya que no sabemos Lo grande que sera el entorno. De esta forma seremos capaz de ver toda la geometría, de lo contrario, se cortaría por la imagen utilizada en el imagen plane.
  • Como se puede observar en la imagen anterior, el aspect ratio de la cámara no coincide con el sensor de la fotografía. Hay que escalarlo en consonancia.
  • Con la información de altura del trípode y tilt, podemos orientar la cámara.
  • En este momento voy a crear un proxy para el suelo, y girar la cámara que aparezca en el plano.
  • Ayudándome de un "helper" en este caso el felpudo, voy a posicionar el suelo en una esquina.
  • Ahora podemos orientar toda la escena en base a esa esquina.
  • Creamos un grupo con la cámara y movemos su pivot point a la esquina.
  • Basta con rotar el grupo hasta alinear las dos lineas de fuga.
  • Una vez orientado el suelo, podemos moverlo o escalarlo para ocupar todo el espacio que se presupone.
  • Realizamos el set fitting con el resto de elementos.

Los suscriptores de elephant vfx pro podéis acceder a un video explicativo de 37 minutos.