$u_r = u_x cos \varphi + u_y sin \varphi$
$u_\varphi = -u_x r sin \varphi + u_y r cos \varphi$

im Buch heisst es, dass obige Gleichungsmatrix orthogonal sei, und folgendes Gleichungssystem einfach folgen würde:

$u_x = u_r cos \varphi - \frac{1}{r}u_\varphi sin\varphi$
$u_y = u_r sin \varphi + \frac{1}{r}u_\varphi cos \varphi$

Eine Matrix A heisst orthogonal wenn $AA^T = Einheitsmatrix$ ist hier aber doch nicht gegeben. Zwei Fragen: Wann ist so ein Gleichungssystem orthogonal, und wie kommt man zum zweiten Gleichungssystem ? Lösen wohl mit $AA^T = Einheitsmatrix$. Kann sein, dass die Lösung einfach ist.

@biter sagte in Nochmals ein Gleichungssystem:

Die Werte $u_x$, $u_y$ lassen sich in der folgenden Form schreiben:

$\left(\begin{array}{c} u_x \\ u_y \end{array}\right) = \left(\begin{array}{rr} \cos\varphi & -\sin\varphi \\ \sin\varphi & \cos\varphi\end{array}\right) * \left(\begin{array}{c} u_r \\ 1/r*u_{\varphi} \end{array}\right)$

Und diese Matrix ist eine Drehmatrix, welche orthogonal ist.

Du kannst dein Gleichungssystem mithilfe einer Drehmatrix um (+/-) 90° rotieren. Aber es geht auch einfacher:

Einfach mit

$ortho\_mat = \begin{bmatrix} 1 & -1 \\ -1 & 1 \end{bmatrix}$

multiplizieren (das zweite und dritte Vorzeichen ändert sich einfach). Hier steht mehr darüber: https://en.wikipedia.org/wiki/Orthogonal_transformation

Eine Matrix A heisst orthogonal wenn $AA^T = Einheitsmatrix$ ist hier aber doch nicht gegeben. Zwei Fragen: Wann ist so ein Gleichungssystem orthogonal, und wie kommt man zum zweiten Gleichungssystem ? Lösen wohl mit $AA^T = Einheitsmatrix$. Kann sein, dass die Lösung einfach ist.

Bei quadratischen Matritzen ist die Inverse auch definiert als $AA^{-1} = Einheitsmatrix$
Und die Inverse kann man z.B. mit dem Gauß-Jordan-Algorithmus Algorithmus bestimmen.

Hier mal der Ansatz für dein Problem

$\begin{pmatrix} u_r\\ u_\varphi \end{pmatrix} = \begin{pmatrix} cos \varphi && sin \varphi \\ -r sin \varphi && r cos \varphi\end{pmatrix} \begin{pmatrix} u_x\\ u_y \end{pmatrix}$

Mit Inverser Matrix multiplizieren:

$\begin{pmatrix} cos \varphi && sin \varphi \\ -r sin \varphi && r cos \varphi\end{pmatrix}^{-1} * \begin{pmatrix} u_r\\ u_\varphi \end{pmatrix} = \begin{pmatrix} cos \varphi && sin \varphi \\ -r sin \varphi && r cos \varphi\end{pmatrix} * \begin{pmatrix} cos \varphi && sin \varphi \\ -r sin \varphi && r cos \varphi\end{pmatrix}^{-1} \begin{pmatrix} u_x\\ u_y \end{pmatrix}$

Ich würde darauf tippen, wenn man die Inverse bestimmt, kommt genau dein Ergebnis da raus.