proc_1.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "kh7ikCw1dWx5"
   },
   "source": [
    "# GRO620 - Activité procédurale 1\n",
    "\n",
    "Dans cette activité, nous allons principalement travailler sur les éléments nécessaires pour capter une image numériquement, les transformations entre repères 2D et 3D, et l'encodage numérique de la couleur."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 45339,
     "status": "ok",
     "timestamp": 1622381462155,
     "user": {
      "displayName": "François Ferland",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GgF2Or95FbA-4pBmWOKA7jS0MHVh9HZkxsXcGWI=s64",
      "userId": "06573522356862301710"
     },
     "user_tz": 240
    },
    "id": "pC6BnG_3dWyA",
    "outputId": "4486fcd9-17b2-4018-e963-c0b64774adcc"
   },
   "outputs": [],
   "source": [
    "# Préambule\n",
    "\n",
    "import numpy as np\n",
    "import cv2\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "%matplotlib inline\n",
    "\n",
    "## Si vous utilisez Google Colab, vous devez d'abord monter votre Google Drive\n",
    "## où se trouve vos données. \n",
    "## Commentez les trois lignes suivantes en ajustant le chemin vers votre propre\n",
    "## dossier :\n",
    "\n",
    "# from google.colab import drive\n",
    "# drive.mount('/content/gdrive')\n",
    "# %cd /content/gdrive/MyDrive/gro620-e21\n",
    "\n",
    "## Pour retrouver le chemin depuis Jupyter, vous pouvez utiliser ceci :\n",
    "# !ls /content/gdrive/MyDrive\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "J1xSdXoMdWyB"
   },
   "source": [
    "## Acquisition et caractéristiques de la lumière\n",
    "\n",
    "### Q1.1\n",
    "\n",
    "À partir de la figure 2.23 du livre de référence, décrivez en une phrase le rôle de chacune des étapes de la chaîne d'acquisition d'images numériques."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "PPRDNqrrdWyB"
   },
   "source": [
    "*(réponse ici)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Zdxhihn2dWyB"
   },
   "source": [
    "### Q1.2\n",
    "\n",
    "Quelle est la différence entre paramètres intrinsèques et extrinsèques du caméra ? Décrivez chaque type en une phrase."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "uiFuS6rPdWyC"
   },
   "source": [
    "*(réponse ici)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "_FWZECptdWyC"
   },
   "source": [
    "### Q1.3\n",
    "\n",
    "Soit la configuration intrinsèque d'une caméra représentée par la matrice $K$ :\n",
    "\n",
    "$$\n",
    "K = \\begin{bmatrix} \n",
    " 620 &   0 & 1024 \\\\ \n",
    "   0 & 620 &  512 \\\\ \n",
    "   0 &   0 &    1 \n",
    "\\end{bmatrix}\n",
    "$$\n",
    "\n",
    "Le capteur de cette caméra a une taille de 30 mm x 15 mm.\n",
    "\n",
    "Pouvez-vous estimer la distance focale en mm de la lentille de cette caméra à partir de la matrice $K$ ?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "id": "mcfUfXCCdWyC"
   },
   "outputs": [],
   "source": [
    "# Réponse ici.\n",
    "K = np.array([[620.,   0., 1024.],\n",
    "              [  0., 620.,  512.],\n",
    "              [  0.,   0.,    1.]\n",
    "])\n",
    "f = 0\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "quJcFsPbdWyD"
   },
   "source": [
    "### Q1.4\n",
    "\n",
    "Dans le cadre de cet APP, nous considérons les caméras comme étant idéales, c'est-à-dire qu'on peut obtenir leurs caractéristiques intrinsèques et extrinsèques à partir de quelques paramètres seulement.\n",
    "\n",
    "**a)** Qu'est-ce qui rend les vraies caméras non-idéales ? Nommez des facteurs autant pour les caractéristiques intrinsèques que extrinsèques."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Erl2fPTidWyD"
   },
   "source": [
    "*(réponse ici)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "5sfg46RtdWyD"
   },
   "source": [
    "**b)** Que doit on faire pour obtenir les caractéristiques d'une caméra non-idéale ?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "bezo06eCdWyE"
   },
   "source": [
    "*(réponse ici)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "NhFn190TftCu"
   },
   "source": [
    "### Q1.5\n",
    "\n",
    "Dans cette image synthétique : \n",
    "\n",
    "![](https://upload.wikimedia.org/wikipedia/commons/c/cd/Specular_highlight.jpg)\n",
    "\n",
    "(source: [Wikimedia Commons](https://commons.wikimedia.org/wiki/File:Specular_highlight.jpg))\n",
    "\n",
    "**a)** Quelle(s) partie(s) correspondent à l'illumination diffuse et les reflets spéculaires ?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "9yFIYACqdXa3"
   },
   "source": [
    "*(réponse ici)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ZXkcFjFKdXa4"
   },
   "source": [
    "**b)** Quelle information est nécessaire pour déterminer les caractéristiques et emplacements exacts des sources de lumières dans cette image ? Vous pouvez répondre en utilisant des éléments de la *Bidirectional Reflectance Distribution Function* (BRDF)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "aGntKizNdXa5",
    "tags": []
   },
   "source": [
    "*(réponse ici)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "NhFn190TftCu"
   },
   "source": [
    "### Q1.6\n",
    "\n",
    "**a)** Pourquoi deux appareils de capture peuvent produire des valeurs RGB différentes d'une même couleur ? "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "H4LmStT2f6C1"
   },
   "source": [
    "*(réponse ici)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "obSsXTc8f5XM"
   },
   "source": [
    "**b)** Que peut-on faire pour comparer numériquement des couleurs provenant de deux capteurs différents ?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "CZ629ialf4VV"
   },
   "source": [
    "*(réponse ici)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "TKQOpwTVdWyE"
   },
   "source": [
    "## Repères et coordonnées\n",
    "\n",
    "### Q2.1\n",
    "\n",
    "Supposons ces 2 repères :\n",
    "\n",
    "![](images_doc/proc1-q2_1-frames.png)\n",
    "\n",
    "**a)** Trouvez la matrice homogène permettant de transformer un point du repère $\\{1\\}$ au repère $\\{0\\}$."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "id": "jULxdVBsdWyE",
    "outputId": "630316fc-4340-46fa-aa1f-54f653075553"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "T_10:\n",
      " [[1. 0. 0. 0.]\n",
      " [0. 1. 0. 0.]\n",
      " [0. 0. 1. 0.]\n",
      " [0. 0. 0. 1.]]\n"
     ]
    }
   ],
   "source": [
    "T_10 = np.identity(4) # Génère une matrice identité 4x4\n",
    "print(\"T_10:\\n\", T_10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "jJIOwDUPdWyF"
   },
   "source": [
    "**b)** Trouvez maintenant la transformation inverse."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "id": "LH35FSWqdWyG"
   },
   "outputs": [],
   "source": [
    "T_01 = np.identity(4)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "L2ximr9WdWyG"
   },
   "source": [
    "**c)** Soit le point $p_0 = [8, 5, 1]^T$, un point dans le repère $\\{0\\}$. Trouvez $p_1$, ses coordonnées dans le repère $\\{1\\}$."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "b22z2cUnf0WF"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "id": "nj0k5hkLdWyG"
   },
   "outputs": [],
   "source": [
    "p_0 = [8, 5, 1]\n",
    "p_1 = [0, 0, 0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "XPkWLvBydWyH"
   },
   "source": [
    "### Q2.2\n",
    "\n",
    "Supposons maintenant que le repère $\\{1\\}$ représente une caméra avec les caractéristiques intrinsèques $K$ de la question Q1.3.\n",
    "\n",
    "**a)** Trouvez la matrice de projection P complète permettant de projeter un point $p$ décrit dans le repère $\\{0\\}$."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "id": "6XhSj3FRdWyH",
    "outputId": "ab32f10e-8b2c-4cea-ed94-5ec725bbe94c"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[6.200e+02 0.000e+00 1.024e+03]\n",
      " [0.000e+00 6.200e+02 5.120e+02]\n",
      " [0.000e+00 0.000e+00 1.000e+00]]\n"
     ]
    }
   ],
   "source": [
    "print(K) # Si vous n'avez pas réutilisé la variable K, elle aura toujours la même valeur qu'à la question Q1.3."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "2UEWupgIdWyI"
   },
   "source": [
    "**b)** Soit le point $p_0 = [0.250, 0.010, 0.000]$. Trouvez le point $x_s$, les coordonnées du point $p_0$ perçu par la caméra."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "id": "WryXyIycdWyI"
   },
   "outputs": [],
   "source": [
    "p_0 = np.array([0.250, 0.010, 0.000])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "tpa--SomdWyY"
   },
   "source": [
    "## Reprojection 2D à 3D"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "UVHRnJsIdWyY"
   },
   "source": [
    "### Q3.1\n",
    "\n",
    "Supposons que le plan XY du repère $\\{0\\}$ est un convoyeur. Quelle serait sa largeur maximale (mesurée sur l'axe Y) si on souhaite que la caméra la capte au complet dans son image ? "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "id": "2WqHjEONdWyZ"
   },
   "outputs": [],
   "source": [
    "l_conv = 0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Jk6xchjCdWyZ"
   },
   "source": [
    "### Q3.2\n",
    "\n",
    "Soit le point $x_s = [120, 200]$, un point dans l'image perçu par la caméra décrite plus haut. On suppose que le point perçu se trouve sur le plan XY du repère $\\{0\\}$. Trouvez les coordonnées du point $p_0$ qui correspond à ce même point dans le repère $\\{0\\}$."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "id": "GYiNDm-BdWya"
   },
   "outputs": [],
   "source": [
    "x_s = np.array([120,200])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "proc_1.ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}