K
Wenn man das "richtig" machen will, benötigt man kalibrierte Kameras, also Kameras, deren "innere Parameter" bekannt sind. Diese Parameter schreibt man typischerweise als 3x3 Matrix K:
| f 0 c_x |
K = | 0 f c_y | (quadratische Pixel angenommen)
| 0 0 1 |
wobei f die effektive Brennweite in Pixel ist und c_x;c_y die Pixelkoordinate des Hauptpunktes. Der Hauptpunkt ist der Punkt auf der Bildebene, der ensteht, wenn Du vom effektiven Projektionszentrum ein Lot auf die Bildebene fällst. Idealerweise ist das die Bildmitte.
Mit dieser Matrix lässt sich für einen gegebenen Bildpunkt in Pixel ein Sichtlinien-Richtungsvektor in Kamera-3D-koordinaten bestimmen:
| richtung_x | -1 | pix_x |
| richtung_y | = K * | pix_y |
| richtung_z | | 1 |
Den Winkel zwischen zwei Vektoren kann man ja über das Skalarprodukt berechnen.
Falls die Kamera das zweite mal nicht exakt dieselbe Orientierung hatte, dann gibt es zwei verschiedene Kamerakoordinatensysteme, die durch eine noch zu bestimmende Rotationsmatrix verknüpft sind. Die Rotationsmatrix müsste anhand von zwei unendlich weit entferten Sternen, deren Bildposition man in beiden Bildern kennt, schon eindeutig berechenbar sein. Das überlasse ich Dir aber erstmal.