path: root/buch/chapters/10-vektorenmatrizen/skalarprodukt.tex

%
% skalarprodukt.tex
%
% (c) 2021 Prof Dr Andreas Müller, OST Ostschweizer Fachhochschulen
%
\section{Skalarprodukt
\label{buch:section:skalarprodukt}}
\rhead{Skalarprodukt}
In der bisher dargestellten Form ist die lineare Algebra nicht
in der Lage, unsere vom Abstandsbegriff dominierte, anschauliche Geometrie
adäquat darzustellen.
Als zusätzliches Hilfsmittel wird eine Methode benötigt, Längen
und Winkel auszudrücken.
Das Skalarprodukt passt in den algebraischen Rahmen der
linearen Algebra, bringt aber auch einen Abstandsbegriff hervor,
der genau der geometrischen Intuition entspricht.

\subsection{Bilinearformen und Skalarprodukte
\label{buch:subsection:bilinearformen}}
Damit man mit einem Skalarprodukt wie mit jedem anderen Produkt
rechnen kann, müssen man auf beiden Seiten des Multiplikationszeichens
ausmultiplizieren können:
\begin{align*}
(\lambda x_1 + \mu x_2)\cdot y &= \lambda x_1\cdot y + \mu x_2\cdot y\\
x\cdot (\lambda y_1 + \mu y_2) &= \lambda x\cdot y_1 + \mu x\cdot y_2.
\end{align*}
Man kann dies interpretieren als Linearität der Abbildungen 
$x\mapsto x\cdot y$ und $y\mapsto x\cdot y$.
Dies wird Bilinearität genannt und wie folgt definiert.

\begin{definition}
Seien $U,V,W$ $\Bbbk$-Vektorräume.
Eine Abbildung $f\colon U\times V\to W$  heisst {\em bilinear},
\index{bilinear}%
wenn die partiellen Abbildungen $U\to W:x\mapsto f(x,y_0)$ und
$V\to W:y\mapsto f(x_0,y)$
linear sind für alle $x_0\in U$ und $y_0\in V$, d.~h.
\begin{align*}
f(\lambda x_1 + \mu x_2,y) &= \lambda f(x_1,y) + \mu f(x_2,y)
\\
f(x,\lambda y_1 + \mu y_2) &= \lambda f(x,y_1) + \mu f(x,y_2)
\end{align*}
Eine bilineare Funktion mit Werten in $\Bbbk$ heisst auch {\em Bilinearform}.
\index{Bilinearform}%
\end{definition}

\subsubsection{Symmetrische bilineare Funktionen}
Das Skalarprodukt hängt nicht von der Reihenfolge der Faktoren ab.
In Frage dafür kommen daher nur Bilinearformen $f\colon V\times V\to\Bbbk$,
die zusätzlich $f(x,y)=f(y,x)$ erfüllen.
Solche Bilinearformen heissen {\em symmetrisch}.
Für eine symmetrische Bilinearform gilt die binomische Formel
\begin{align*}
f(x+y,x+y)
&=
f(x,x+y)+f(y,x+y)
=
f(x,x)+f(x,y)+f(y,x)+f(y,y)
\\
&=
f(x,x)+2f(x,y)+f(y,y)
\end{align*}
wegen $f(x,y)=f(y,x)$.

Aus einer beliebigen bilinearen Funktion $g(x,y)$ kann immer eine
symmetrische bilineare Funktion $f(x,y)$ gewonnen werden, indem
man 
\[
f(x,y) = \frac12 \bigl(g(x,y)+g(x,y)\bigr)
\]
setzt.
Dieser Prozess heisst auch {\em Symmetrisieren}.
\index{symmetrisieren}%
Ist $g$ bereits symmetrische, dann ist $g(x,y)=f(x,y)$.

\subsubsection{Positiv definite Bilinearformen und Skalarprodukt}
Bilinearität allein genügt nicht, um einen Vektorraum mit einem
nützlichen Abstandsbegriff auszustatten.
Dazu müssen die berechneten Abstände vergleichbar sein, es muss also
eine Ordnungsrelation definiert sein, wie wir sie nur in $\mathbb{R}$
kennen.
Wir sind daher gezwungen uns auf $\mathbb{R}$- oder
$\mathbb{Q}$-Vektorräume zu beschränken.

Man lernt in der Vektorgeometrie, dass sich mit einer Bilinearform
$f\colon V\times V\to\mathbb{R}$ 
die Länge eines Vektors $x$ definieren lässt, indem man $\|x\|^2 = f(x,x)$
setzt.
Dazu muss $f(x,x)\ge 0$ sein für alle $x$, was die Bilinearität
allein nicht garantieren kann.
Verschiedene Punkte in einem Vektorraum sollen in dem aus der Bilinearform
abgeleiteten Abstandsbegriff immer unterscheidbar sein.
Dazu muss jeder von $0$ verschiedene Vektor positive Länge haben.

\begin{definition}
Eine symmetrische Bilinearform $f\colon V\times V\to\mathbb{R}$
heisst {\em positiv definit}, wenn
\index{positiv definit}%
\[
f(x,x) > 0\qquad\forall x\in V\setminus\{0\}.
\]
Das zugehörige {\em Skalarprodukt} wird $f(x,y)=\langle x,y\rangle$
geschrieben.
\index{Skalarprodukt}%
Die {\em $l^2$-Norm} $\|x\|_2$ eines Vektors ist definiert durch
$\|x\|_2^2 = \langle x,x\rangle$.
\index{l2-norm@$l^2$-Norm}%
\end{definition}

\subsubsection{Dreiecksungleichung}
Damit man sinnvoll über Abstände sprechen kann, muss die Norm
$\|\mathstrut\cdot\mathstrut\|_2$
der geometrischen Intuition folgen, die durch
die Dreiecksungleichung ausgedrückt wird.
In diesem Abschnitt soll gezeigt werden, dass die $l^2$-Norm
diese immer erfüllt.
Dazu sei $V$ ein $\mathbb{R}$-Vektorraum mit Skalarprodukt
$\langle\;\,,\;\rangle$.

\begin{satz}[Cauchy-Schwarz-Ungleichung]
\label{buch:skalarprodukt:satz:cauchy-schwarz-ungleichung}
Für $x,y\in V$ gilt
\begin{equation}
|\langle x,y\rangle |
\le
\| x\|_2\cdot \|y\|_2
\label{buch:skalarprodukt:eqn:cauchy-schwarz-ungleichung}
\end{equation}
mit Gleichheit genau dann, wenn $x$ und $y$ linear abhängig sind.
\end{satz}
\index{Cauchy-Schwarz-Ungleichung}%

\begin{proof}[Beweis]
Wir berechnen die Norm von $z=x-ty$:
\begin{align}
\|x-ty\|_2^2
&=
\|x\|_2^2 -2t\langle x,y\rangle +t^2\|y\|_2^2 \ge 0.
\notag
\end{align}
Sie nimmt den kleinsten Wert genau dann an, wenn es ein $t$ gibt derart,
dass $x=ty$.
Die rechte Seite ist ein quadratischer Ausdruck in $t$,
er hat sein Minimum bei
\begin{align*}
t&=-\frac{-2\langle x,y\rangle}{2\|y\|_2^2}
&&\Rightarrow&
\biggl\|
x  - \frac{\langle x,y\rangle}{\|y\|_2^2}y
\biggr\|_2^2
&=
\|x\|_2^2 
-
2\frac{(\langle x,y\rangle)^2}{\|y\|_2^2}
+
\frac{(\langle x,y\rangle)^2}{\|y\|_2^4} \|y\|_2^2
\\
&&&&
&=
\|x\|_2^2 
-
\frac{(\langle x,y\rangle)^2}{\|y\|_2^2}
=
\frac{
\|x\|_2^2\cdot\|y\|_2^2 - (\langle x,y\rangle)^2
}{
\|y\|_2^2
}
\ge 0.
\intertext{Es folgt}
&&&\Rightarrow&
\|x\|_2^2\cdot\|y\|_2^2 - (\langle x,y\rangle)^2 &\ge 0
\\
&&&\Rightarrow&
\|x\|_2\cdot\|y\|_2 &\ge |\langle x,y\rangle |
\end{align*}
mit Gleichheit genau dann, wenn es ein $t$ gibt mit $x=ty$.
\end{proof}

\begin{satz}[Dreiecksungleichung]
\label{buch:skalarprodukt:satz:dreiecksungleichung}
Für $x,y\in V$ ist
\[
\| x + y \|_2 \le \|x\|_2 + \|y\|_2
\]
mit Gleichheit genau dann, wenn $x=ty$ ist für ein $t\ge 0$.
\end{satz}
\index{Dreiecksungleichung}%

\begin{proof}[Beweis]
Wir berechnen die Norm von $x+y$ und wenden die
Cauchy-Schwarz-Ungleichung darauf an:
\begin{align*}
\|x+y\|_2^2
&=
\langle x+y,x+y\rangle
=
\langle x,x\rangle
+
2\langle x,y\rangle
+
\langle y,y\rangle
\\
&=
\|x\|_2^2
+
2\langle x,y\rangle
+
\|y\|_2^2
\\
&\le
\|x\|_2^2 + 2\|x\|_2\cdot\|y\|_2 + \|y\|_2^2
\\
&=
(\|x\|_2 + \|y\|_2)^2
\\
\Rightarrow\qquad
\|x + y\|_2
&\le \|x\|_2 + \|y\|_2.
\end{align*}
Gleichheit tritt genau dann ein, wenn 
$\langle x,y\rangle=\|x\|_2\cdot \|y\|_2$.
Dies tritt nach Satz~\ref{buch:skalarprodukt:satz:cauchy-schwarz-ungleichung}
genau dann ein, wenn die beiden Vektoren linear abhängig sind.
\end{proof}

\subsubsection{Polarformel}
Auf den ersten Blick scheint die Norm $\|x\|_2$ weniger Information 
zu beinhalten, als die symmetrische Bilinearform, aus der sie
hervorgegangen ist.
Dem ist aber nicht so, denn die Bilinearform lässt sich aus der
Norm zurückgewinnen.
Dies ist der Inhalt der sogenannte {\em Polarformel}.

\begin{satz}[Polarformel]
\label{buch:skalarprodukt:satz:polarformel}
Ist $\|\cdot\|_2$ eine Norm, die aus einer symmetrischen Bilinearform
$\langle\;\,,\;\rangle$ hervorgegangen ist, dann kann die Bilinearform
mit Hilfe der Formel
\begin{equation}
\langle x,y\rangle
=
\frac12(
\|x+y\|_2^2
-
\|x\|_2^2
-
\|y\|_2^2
)
\label{buch:grundlagen:eqn:polarformel}
\end{equation}
für $x,y\in V$ wiedergewonnen werden.
\end{satz}
\index{Polarformel}%

\begin{proof}[Beweis]
Die binomischen Formel
\begin{align*}
\|x+y\|_2^2
&=
\|x\|_2^2 + 2\langle x,y\rangle + \|y\|_2^2
\intertext{kann nach $\langle x,y\rangle$ aufgelöst werden, was}
\langle x,y\rangle &= \frac12 (
\|x+y\|_2^2 - \|x\|_2^2 - \|y\|_2^2
)
\end{align*}
ergibt.
Damit ist die
Polarformel~\eqref{buch:grundlagen:eqn:polarformel}
bewiesen.
\end{proof}

\subsubsection{Komplexe Vektorräume und Sesquilinearformen}
Eine Bilinearform auf einem komplexen Vektorraum führt nicht
auf eine Grösse, die sich als Norm eignet.
Selbst wenn $\langle x,x\rangle >0$ ist,
\[
\langle ix,iy\rangle = i^2 \langle x,y\rangle
=
-\langle x,y\rangle < 0.
\]
Dies kann verhindert werden, wenn verlangt wird, dass der Faktor
$i$ im ersten Faktor der Bilinearform als $-i$ aus der Bilinearform
herausgenommen werden muss.

\begin{definition}
Seien $U,V,W$ komplexe Vektorräume.
Eine Abbildung $f\colon U\times V\to W$ heisst
{\em sesquilinear}\footnote{Das lateinische Wort {\em sesqui} bedeutet
eineinhalb, eine Sesquilinearform ist also eine Form, die in einem 
Faktor (dem zweiten) linear ist, und im anderen nur ``halb'' linear.
}
\index{sesquilinear}%
wenn gilt
\begin{align*}
f(\lambda x_1+\mu x_2,y) &= \overline{\lambda}f(x_1,y) + \overline{\mu}f(x_2,y),
\\
f(x,\lambda y_1+\mu y_2) &= \lambda f(x,y_1) + \mu f(x,y_2).
\end{align*}
\end{definition}

Für die Norm $\|x\|_2^2=\langle x,x\rangle$ bedeutet dies jetzt
\[
\|\lambda x\|_2^2
=
\langle \lambda x,\lambda x\rangle
=
\overline{\lambda}\lambda \langle x,x\rangle
=
|\lambda|^2 \|x\|_2^2
\qquad\Rightarrow\qquad
\|\lambda x\|_2 = |\lambda|\, \|x\|_2.
\]

\subsection{Orthonormalbasis
\label{buch:subsection:orthonormalbasis}}
\index{orthonormierte Basis}%
Sowohl die Berechnung von Skalarprodukten wie auch der Basis-Wechsel
werden besonders einfach, wenn die verwendeten Basisvektoren orthogonal
sind und Länge $1$ haben.

\subsubsection{Orthogonale Vektoren}
In der Vektorgeometrie definiert man den Zwischenwinkel $\alpha$
zwischen zwei von $0$ verschiedene Vektoren $u$ und $v$ mit Hilfe
des Skalarproduktes und der Formel
\[
\cos\alpha = \frac{\langle u,v\rangle}{\|u\|_2\cdot\|v\|_2}.
\]
Der Winkel ist $\alpha=90^\circ$ genau dann, wenn das Skalarprodukt
verschwindet.
Zwei Vektoren $u$ und $v$ heissen daher {\em orthogonal} genau dann,
wenn $\langle u,v\rangle=0$.
Wir schreiben dafür auch $u\perp v$.
\index{orthogonal}%

\subsubsection{Gram-Matrix}
Sei $V$ ein Vektorraum mit einem Skalarprodukt und $\{b_1,\dots,b_n\}$ eine
Basis von $V$.
Wie kann man das Skalarprodukt aus den Koordinaten $\xi_i$ und $\eta_i$
der Vektoren 
\[
x = \sum_{i=1}^n \xi_i b_i,
\quad\text{und}\quad
y = \sum_{i=1}^n \eta_i b_i
\]
berechnen?
Setzt man $x$ und $y$ in das Skalarprodukt ein, erhält man
\begin{align}
\langle x,y\rangle
&=
\biggl\langle
\sum_{i=1}^n \xi_i b_i,
\sum_{j=1}^n \eta_j b_j
\biggr\rangle
=
\sum_{i,j=1}^n \xi_i\eta_j \langle b_i,b_j\rangle.
\label{buch:skalarprodukt:eqn:skalarproduktgram}
\end{align}
Die Komponente $g_{i\!j}=\langle b_i,b_j\rangle$ bilden die sogenannte
{\em Gram-Matrix} $G$.
\index{Gram-Matrix}%
Da das Skalarprodukt eine symmetrische Bilinearform ist, ist die
Gram-Matrix symmetrisch.
Mit ihr kann das Skalarprodukt auch in Vektorform geschrieben werden
als $\langle x,y\rangle = \xi^t G\eta$.

\subsubsection{Orthonormalbasis}
Eine Basis $\{b_1,\dots,b_n\}$ aus orthonormierten Einheitsvektoren,
also mit
$
\langle b_i,b_j\rangle=\delta_{i\!j},
$
heisst {\em Orthonormalbasis}.
\index{Orthonormalbasis}%
Die Gram-Matrix einer Orthonormalbasis ist die Einheitsmatrix.

Eine Orthonormalbasis zeichnet sich dadurch aus, dass die Berechnung
des Skalarproduktes in einer solchen Basis besonders einfach ist.
Aus \eqref{buch:skalarprodukt:eqn:skalarproduktgram} kann man ablesen,
dass $\langle x,y\rangle = \xi^t G \eta = \xi^t I \eta = \xi^t\eta$.

In einer Orthonormalbasis ist auch die Bestimmung der Koordinaten
eines beliebigen Vektors besonders einfach.
Sei also $\{b_1,\dots,b_n\}$ eine Orthonormalbasis und $v$ ein
Vektor, der in dieser Basis dargestellt werden soll.
Der Vektor
\begin{equation}
v'=\sum_{i=1}^n \langle v,b_i\rangle b_i,
\label{buch:grundlagen:eqn:koordinaten-in-orthonormalbasis}
\end{equation}
hat die Skalarprodukte
\[
\langle v',b_j\rangle=
\biggl\langle \sum_{i=1}^n \langle v,b_i\rangle b_i,b_j\biggr\rangle
=
\sum_{i=1}^n \bigl\langle \langle v,b_i\rangle b_i, b_j\bigr\rangle
=
\sum_{i=1}^n \langle v,b_i\rangle \rangle b_i, b_j\rangle
=
\sum_{i=1}^n \langle v,b_i\rangle \delta_{i\!j}
=
\langle v,b_j\rangle.
\]
Insbesondere gilt 
\[
\langle v,b_j\rangle = \langle v',b_j\rangle
\qquad\Rightarrow\qquad
\langle v-v',b_j\rangle = 0
\qquad\Rightarrow\qquad
v-v'=0
\qquad\Rightarrow\qquad
v=v'.
\]
Die Koordinaten von $v$ in der Basis $\{b_i\,|\,1\le i\le n\}$
sind also genau die Skalarprodukte $\langle v,b_i\rangle$.

\subsubsection{Gram-Schmidt-Orthonormalisierung}
Mit Hilfe des Gram-Schmidtschen Orthonormalisierungsprozesses kann aus
einer beliebige Basis $\{a_1,a_2,\dots,a_n\}\subset V$ eines Vektorraums
mit einem Skalarprodukt eine orthonormierte Basis 
$\{b_1,b_2,\dots,b_n\}$ gefunden werden derart, dass für alle $k$
die aufgespannten Räume
$\langle b_1,\dots,b_k\rangle = \langle a_1,\dots ,a_k\rangle$
gleich sind.
\index{Gram-Schmidt-Orthonormalisierung}%
Mit den Vektoren $b_1,\dots,b_k$ kann man also die gleichen Vektoren
linear kombinieren wie mit den Vektoren $a_1,\dots,a_k$.
Der Zusammenhang zwischen den Basisvektoren $b_i$ und $a_i$ ist
gegeben durch
\begin{align*}
b_1&=\frac{a_1}{\|a_1\|_2},
\\
b_2&=\frac{a_2-b_1\langle b_1,a_2\rangle}{\|a_2-b_1\langle b_1,a_2\rangle\|_2},
\\
b_3&=\frac{a_3-b_1\langle b_1,a_3\rangle-b_2\langle b_2,a_3\rangle}{\|a_3-b_1\langle b_1,a_3\rangle-b_2\langle b_2,a_3\rangle\|_2}
\\
&\phantom{n}\vdots\\
b_n
&=
\frac{
a_n-b_1\langle b_1,a_n\rangle-b_2\langle b_2,a_n\rangle
-\dots-b_{n-1}\langle b_{n-1},a_n\rangle
}{
\|
a_n-b_1\langle b_1,a_n\rangle-b_2\langle b_2,a_n\rangle
-\dots-b_{n-1}\langle b_{n-1},a_n\rangle
\|_2
}.
\end{align*}
Die Gram-Matrix der Matrix $\{b_1,\dots,b_n\}$ ist die Einheitsmatrix.

\subsubsection{Orthogonalisierung}
Der Normalisierungsschritt im Gram-Schmidt-Orthonormalisierungsprozess
ist nur möglich, wenn Quadratwurzeln unbeschränkt gezogen werden können.
Das ist in $\mathbb{R}$ möglich, nicht jedoch in $\mathbb{Q}$.
Es ist aber mit einer kleinen Anpassung auch über $\mathbb{Q}$
immer noch möglich, aus einer Basis $\{a_1,\dots,a_n\}$ eine orthogonale
Basis zu konstruieren.
Man verwendet dazu die Formeln
\begin{align*}
b_1&=a_1,
\\
b_2&=a_2-b_1\langle b_1,a_2\rangle,
\\
b_3&=a_3-b_1\langle b_1,a_3\rangle-b_2\langle b_2,a_3\rangle
\\
&\phantom{n}\vdots\\
b_n
&=
a_n-b_1\langle b_1,a_n\rangle-b_2\langle b_2,a_n\rangle
-\dots-b_{n-1}\langle b_{n-1},a_n\rangle.
\end{align*}
Die Basisvektoren $b_i$ sind orthogonal, aber $\|b_i\|_2$ kann auch
von $1$ abweichen.
Damit ist es leider nicht mehr so einfach 
wie in \eqref{buch:grundlagen:eqn:koordinaten-in-orthonormalbasis},
einen Vektor in der Basis zu zerlegen.
Ein Vektor $v$ hat nämlich in der Basis $\{b_1,\dots,b_n\}$ die Zerlegung
\begin{equation}
v
=
\sum_{i=1}^n
\frac{\langle b_i,v\rangle}{\|b_i\|_2^2} b_i,
\label{buch:grundlagen:eqn:orthogonal-basiszerlegung}
\end{equation}
die Koordinaten bezüglich dieser Basis sind also
$\langle b_i,v\rangle/\|b_i\|_2^2$.

Die Gram-Matrix einer orthogonalen Basis ist immer noch diagonal,
auf der Diagonalen stehen die Normen der Basisvektoren.
Die Nenner in der Zerlegung
\eqref{buch:grundlagen:eqn:orthogonal-basiszerlegung}
sind die Einträge der inverse Matrix der Gram-Matrix.

\subsubsection{Orthonormalbasen in komplexen Vektorräumen}
Die Gram-Matrix einer Basis $\{b_1,\dots,b_n\}$ in einem komplexen
Vektorraum hat die Eigenschaft
\[
g_{i\!j}
=
\langle b_i,b_j\rangle
=
\overline{\langle b_j,b_i\rangle},
=
\overline{g}_{ji}
\quad 1\le i,j\le n.
\]
Sie ist nicht mehr symmetrisch, aber hermitesch, gemäss 
der folgenden Definition.

\begin{definition}
\label{buch:grundlagen:definition:hermitesch}
Sei $A$ eine komplexe Matrix mit Einträgen $a_{i\!j}$, dann ist
$\overline{A}$ die Matrix mit komplex konjugierten Elementen
$\overline{a}_{i\!j}$.
Die {\em adjungierte} Matrix ist $A^*=\overline{A}^t$.
\index{adjungiert}%
Eine Matrix heisst {\em hermitesch}, wenn $A^*=A$.
\index{hermitesch}%
Sie heisst {\em antihermitesch}, wenn $A^*=-A$.
\end{definition}

\subsection{Selbstadjungierte Abbilungen
\label{buch:subsection:selbstadjungiert}}
In Definition~\ref{buch:grundlagen:definition:hermitesch}
wurde der Begriff der hermiteschen Matrix basierend
eingeführt.
Als Eigenschaft einer Matrix ist diese Definition notwendigerweise
abhängig von der Wahl der Basis.
Es ist nicht unbedingt klar, dass derart definierte Eigenschaften
als von der Basis unabhängige Eigenschaften betrachtet werden können.
Ziel dieses Abschnitts ist, Eigenschaften wie Symmetrie oder
hermitesch auf basisunabhängige Eigenschaften von
linearen Abbildungen in einem Vektorraum $V$ mit Skalarprodukt
$\langle\;\,,\;\rangle$ zu verstehen.

\subsubsection{Reelle selbstadjungierte Abbildungen}
Sei $f\colon V\to V$ eine lineare Abbildung.
In einer Basis $\{b_1,\dots,b_n\}\subset V$ wird $f$ durch eine
Matrix $A$ beschrieben.
Ist die Basis orthonormiert, dann kann man die Matrixelemente 
mit $a_{i\!j}=\langle b_i,Ab_j\rangle$ berechnen.
Die Matrix ist symmetrisch, wenn 
\[
\langle b_i,Ab_j\rangle
=
a_{i\!j}
= 
a_{ji}
=
\langle b_j,Ab_i \rangle
=
\langle Ab_i,b_j \rangle
\]
ist.
Daraus leitet sich jetzt die basisunabhängige Definition einer
selbstadjungierten Abbildung ab.

\begin{definition}
Eine lineare Abbildung $f\colon V\to V$ heisst {\em selbstadjungiert}, wenn
$\langle x,Ay\rangle=\langle Ax,y\rangle$ gilt für beliebige 
Vektoren $x,y\in V$.
\index{selbstadjungierte Abbildung}%
\end{definition}

Für $V=\mathbb{R}^n$ und das Skalarprodukt $\langle x,y\rangle=x^ty$ 
erfüllt eine selbstadjungierte Abbildung mit der Matrix $A$ die Gleichung
\[
\left.
\begin{aligned}
\langle x,Ay\rangle
&=
x^tAy
\\
\langle Ax,y\rangle
&=
(Ax)^ty=x^tA^ty
\end{aligned}
\right\}
\quad\Rightarrow\quad
x^tA^ty = x^tAy\quad\forall x,y\in\mathbb{R}^n,
\]
was gleichbedeutend ist mit $A^t=A$.
Der Begriff der selbstadjungierten Abbildung ist also die natürliche,
basisunabhängige
Verallgemeinerung des Begriffs der symmetrischen Matrix.

\subsubsection{Selbstadjungierte komplexe Abbildungen}
In einem komplexen Vektorraum ist das Skalarprodukt nicht mehr bilinear
und symmetrisch, sondern sesquilinear und konjugiert symmetrisch.

\begin{definition}
Eine lineare Selbstabbildung $f\colon V\to V$  eines komplexen
Vektorraumes heisst {\em selbstadjungiert},
wenn $\langle x,fy\rangle=\langle fx,y\rangle$ für alle $x,y\in\mathbb{C}$.
\index{selbstadjungiert}%
\end{definition}

Im komplexen Vektorraum $\mathbb{C}^n$ ist das Standardskalarprodukt
definiert durch $\langle x,y\rangle = \overline{x}^ty$.

\subsubsection{Die Adjungierte}
Die Werte der Skalarprodukte $\langle x, y\rangle$ für alle $x\in V$
legen den Vektor $y$ fest.
Gäbe es nämlich einen zweiten Vektor $y'$ mit den gleichen Skalarprodukten,
also $\langle x,y\rangle = \langle x,y'\rangle$ für alle $x\in V$,
dann gilt wegen der Linearität $\langle x,y-y'\rangle=0$.
Wählt man $x=y-y'$, dann folgt
$0=\langle y-y',y-y'\rangle=\|y-y'\|_2$, also muss $y=y'$ sein.

\begin{definition}
Sei $f\colon V\to V$ eine lineare Abbildung.
Die lineare Abbildung $f^*\colon V\to V$ definiert durch
\[
\langle f^*x,y\rangle = \langle x,fy\rangle,\qquad x,y\in V
\]
heisst die {\em Adjungierte} von $f$.
\index{Adjungierte}%
\end{definition}

Eine selbstadjungierte Abbildung ist also eine lineare Abbildung,
die mit ihrer Adjungierte übereinstimmt, also $f^* = f$.
In einer orthonormierten Basis $\{b_1,\dots,b_n\}$ hat die Abbildung
$f$ die Matrixelemente $a_{i\!j}=\langle b_i,fb_j\rangle$.
Die adjungierte Abbildung hat dann die Matrixelemente
\[
\langle b_i,f^*b_j \rangle
=
\overline{\langle f^*b_j,b_i\rangle}
=
\overline{\langle b_j,fb_i\rangle}
=
\overline{a_{ji}},
\]
was mit der Definition von $A^*$ übereinstimmt.

\subsection{Orthogonale und unitäre Matrizen
\label{buch:subsection:orthogonale-und-unitaere-matrizen}}
Von besonderer geometrischer Bedeutung sind lineare Abbildung,
die die Norm nicht verändern.
Aus der Polarformel~\eqref{buch:grundlagen:eqn:polarformel}
folgt dann, dass auch das Skalarprodukt erhalten ist, aus dem
Winkel berechnet werden können.
Lineare Abbildungen, die die Norm erhalten, sind daher auch winkeltreu.

\begin{definition}
Eine lineare Abbildung $f\colon V\to V$ in einem reellen
Vektorraum mit Skalarprodukt heisst {\em orthogonal}, wenn
$\langle fx,fy\rangle = \langle x,y\rangle$ für alle
$x,y\in V$ gilt.
\index{orthogonale Abbildung}%
\index{orthogonale Matrix}%
\end{definition}

Die Adjungierte einer orthogonalen Abbildung erfüllt
$\langle x,y\rangle = \langle fx,fy\rangle = \langle f^*f x, y\rangle$
für alle $x,y\in V$, also muss $f^*f$ die identische Abbildung sein,
deren Matrix die Einheitsmatrix ist.
Die Matrix $O$ einer orthogonalen Abbildung erfüllt daher $O^tO=I$.

Für einen komplexen Vektorraum erwarten wir grundsätzlich dasselbe.
Lineare Abbildungen, die die Norm erhalten, erhalten das komplexe
Skalarprodukt.
Auch in diesem Fall ist $f^*f$ die identische Abbildung, die zugehörigen
Matrixen $U$ erfüllen daher $U^*U=I$.

\begin{definition}
Eine lineare Abbildung $f\colon V\to V$ eines komplexen Vektorraumes
$V$ mit Skalarprodukt heisst unitär,
wenn $\langle x,y\rangle = \langle fx,fy\rangle$ für alle Vektoren $x,y\in V$.
Eine Matrix heisst unitär, wenn $U^*U=I$.
\index{unitäre Abbildung}%
\index{unitäre Matrix}%
\end{definition}

Die Matrix einer unitären Abbildung in einer orthonormierten Basis ist unitär.

\subsection{Orthogonale Unterräume
\label{buch:subsection:orthogonale-unterraeume}}
Die Orthogonalitätsrelation lässt sich von einzelnen Vektoren auf ganze
auf Unterräume ausdehnen.
Zwei Unterräume $U\subset V$ und $W\subset V$ eines Vektorraums mit
Skalarprodukt heissen orthogonal, wenn gilt
\(
u\perp w\;\forall u\in U,w\in W
\).

\subsubsection{Orthogonalkomplement}
Zu einem Unterraum $U$ kann man den Vektorraum
\[
U^\perp = \{ v\in V\,|\, v\perp u\forall u\in U\}
\]
bilden.
$U^\perp$ ist ein Unterraum, denn für zwei Vektoren
$v_1,v_2\in U^\perp$ gilt
\[
\langle \lambda v_1+\mu v_2,u\rangle
=
\lambda \langle v_1,u\rangle + \mu \langle v_2,u\rangle
=
0
\]
für alle $u\in U$, also ist $\lambda v_1+\mu v_2\in U^\perp$.
Der Unterraum $U^\perp$ heisst das {\em Orthogonalkomplement}
von $U$.
\index{Orthogonalkomplement}%

\subsubsection{Kern und Bild}
Die adjungierte Abbildung ermöglicht, eine Abbildung in einem
Skalarprodukt auf den anderen Faktor zu schieben und damit
einen Zusammenhang zwischen Bildern und Kernen mit Hilfe des
Orthogonalkomplements herzustellen.

\begin{satz}
Sei $f\colon U\to V$ eine lineare Abbildung zwischen Vektorräumen
mit Skalarprodukt, und $f^*\colon V \to U$ die adjungierte Abbildung,
Dann gilt
\[
\begin{aligned}
\ker f^*
&=
(\operatorname{im}f)^\perp
&&
&
\operatorname{im}f\phantom{\mathstrut^*}
&=
(\ker f^*)^\perp
\\
\ker f\phantom{\mathstrut^*}
&=
(\operatorname{im}f^*)^\perp
&
&&
\operatorname{im}f^*
&=
(\ker f)^\perp.
\end{aligned}
\]
\end{satz}

\begin{proof}[Beweis]
Es gilt $\langle fu,v\rangle = \langle u,f^*v\rangle$ für
alle $u\in U, v\in V$.
Das Orthogonalkomplement des Bildes von $f$ ist
\begin{align*}
(\operatorname{im} f)^\perp
&=
\{
v\in V
\,|\,
\langle v, fu\rangle=0\forall u\in U
\}
\end{align*}
Ein Vektor $v$ ist genau dann in $(\operatorname{im}f)^\perp$ enthalten,
wenn für alle $u$ 
\[
0
=
\langle v,fu\rangle
=
\langle f^*v,u\rangle
\]
gilt.
Das ist aber gleichbdeutend damit, dass $f^*v=0$ ist, dass also 
$v\in\ker f^*$.
Dies beweist die erste Beziehung, alle anderen folgen auf analoge Weise.
\end{proof}

\subsection{Andere Normen auf Vektorräumen
\label{buch:subsection:andere-normen}}
Das Skalarprodukt ist nicht die einzige Möglichkeit, eine Norm auf einem
Vektorraum zu definieren.
In diesem Abschnitt stellen wir einige weitere mögliche Normdefinitionen
zusammen.

\subsubsection{$l^1$-Norm}
\begin{definition}
Die $l^1$-Norm in $V=\mathbb{R}^n$ oder $V=\mathbb{C}^n$ ist definiert durch
\index{l1-Norm@$l^1$-Norm}%
\[
\| v\|_1
=
\sum_{i=1}^n |v_i|
\]
für $v\in V$.
\end{definition}

Auch die $l^1$-Norm erfüllt die Dreiecksungleichung
\[
\|x+y\|_1
=
\sum_{i=1}^n |x_i+y_i|
\le 
\sum_{i=1} |x_i| + \sum_{i=1} |y_i|
=
\|x\|_1 + \|y\|_1.
\]

Die $l^1$-Norm kommt nicht von einem Skalarprodukt her.
Wenn es ein Skalarprodukt gäbe, welches auf diese Norm führt, dann
müsste 
\[
\langle x,y\rangle
=
\frac12(\|x+y\|_1^2-\|x\|_1^2-\|y\|_1^2)
\]
sein.
Für die beiden Standardbasisvektoren $x=e_1$ und $y=e_2$ 
bedeutet dies
\[
\left .
\begin{aligned}
\|e_1\|_1 &= 2\\
\|e_2\|_1 &= 2\\
\|e_1\pm +e_2\|_1 &= 2\\
\end{aligned}
\right\}
\quad\Rightarrow\quad
\langle e_1,\pm e_2\rangle
=
\frac12( 2^2 - 1^2 - 1^2) 
=1
\]
Die Linearität des Skalarproduktes verlangt aber, dass
$1=\langle e_1,-e_2\rangle = -\langle e_1,e_2\rangle = -1$,
ein Widerspruch.

\subsubsection{$l^\infty$-Norm}

\begin{definition}
Die $l^\infty$-Norm in $V=\mathbb{R}^n$ und $V=\mathbb{C}^n$ ist definiert
\[
\|v\|_\infty
=
\max_{i} |v_i|.
\]
Sie heisst auch die {\em Supremumnorm}.
\index{Supremumnorm}%
\index{lunendlich-norm@$l^\infty$-Norm}%
\end{definition}

Auch diese Norm  erfüllt die Dreiecksungleichung
\[
\|x+y\|_\infty
=
\max_i |x_i+y_i|
\le
\max_i (|x_i| + |y_i|)
\le
\max_i |x_i| + \max_i |y_i|
=
\|x\|_\infty + \|y\|_\infty.
\]
Auch diese Norm kann nicht von einem Skalarprodukt herkommen, ein
Gegenbeispiel können wir wieder mit den ersten beiden Standardbasisvektoren
konstruieren.
Es ist
\[
\left.
\begin{aligned}
\|e_1\|_\infty &= 1\\
\|e_2\|_\infty &= 1\\
\|e_1\pm e_2\|_\infty &= 1
\end{aligned}
\right\}
\qquad\Rightarrow\qquad
\langle e_1,\pm e_2\rangle
=
\frac12(\|e_1\pm e_2\|_\infty^2 - \|e_1\|_\infty^2 - \|e_2\|_\infty^2)
=
\frac12(1-1-1) = -\frac12.
\]
Es folgt wieder
\(
-\frac12
=
\langle e_1,-e_2\rangle
=
-\langle e_1,e_2\rangle
=
\frac12,
\)
ein Widerspruch.

\subsubsection{Operatornorm}
Der Vektorraum der linearen Abbildungen $f\colon U\to V$ kann mit einer
Norm ausgestattet werden, wenn $U$ und $V$ jeweils eine Norm haben.

\begin{definition}
Seien $U$ und $V$ Vektorräume über $\mathbb{R}$ oder $\mathbb{C}$ und
$f\colon U\to V$ eine lineare Abbildung.
Die {\em Operatornorm} der linearen Abbildung ist 
\index{Operatornorm}%
\[
\|f\|
=
\sup_{x\in U\wedge \|x\|\le 1} \|fx\|.
\]
\end{definition}

Nach Definition gilt $\|fx\| \le \|f\|\cdot \|x\|$ für alle $x\in U$.
Die in den Vektorräumen $U$ und $V$ verwendeten Normen haben einen
grossen Einfluss auf die Operatornorm, wie die beiden folgenden
Beispiele zeigen.

\begin{beispiel}
Sei $V$ ein komplexer Vektorraum mit einem Skalarprodukt und $y\in V$ ein
Vektor.
$y$ definiert die lineare Abbildung
\[
l_y
\colon
V\to \mathbb{C}: x\mapsto \langle y,x\rangle.
\]
Zur Berechnung der Operatorname von $l_y$ verwenden wir die
Cauchy-Schwarz-Ungleichung~\eqref{buch:skalarprodukt:eqn:cauchy-schwarz-ungleichung}
\[
|l_y(x)|^2
=
|\langle y,x\rangle|^2
\le
\|y\|_2^2\cdot \|x\|_2^2
\]
mit Gleichheit genau dann, wenn $x$ und $y$ linear abhängig sind.
Dies bedeutet, dass
$\|l_y\|=\|y\|$, die Operatorname von $l_y$ stimmt mit der Norm von $y$
überein.
\end{beispiel}

\begin{beispiel}
Sei $V=\mathbb{C}^n$. 
Dann definiert $y\in V$ eine Linearform
\[
l_y
\colon
V\to \mathbb C
:
x\mapsto y^tx.
\]
Wir suchen  die Operatornorm von $l_y$, wenn $V$ mit der $l^1$-Norm
ausgestattet wird.
Sei $k$ der Index der betragsmässig grössten Komponente von $y_k$,
also $\| y\|_\infty = |y_k|$.
Dann gilt
\[
|l_y(x)|
=
\biggl|\sum_{i=1}^n y_ix_i\biggr|
\le
\sum_{i=1}^n |y_i|\cdot |x_i|
\le
|y_k| \sum_{i=1}^n |x_i|
=
\|y\|_\infty\cdot \|x\|_1.
\]
Gleichheit wird erreicht, wenn die Komponente $k$ die einzige
von $0$ verschiedene Komponente des Vektors $x$ ist.
Somit ist $\|l_y\| = \|y\|_\infty$.
\end{beispiel}


\subsubsection{Normen auf Funktionenräumen}
Alle auf $\mathbb{R}^n$ und $\mathbb{C}^n$ definierten Normen lassen
sich auf den Raum der stetigen Funktionen $[a,b]\to\mathbb{R}$ oder
$[a,b]\to\mathbb{C}$ verallgemeinern.

Die Supremumnorm auf dem Vektorraum der stetigen Funktionen ist
\index{Supremumnorm}%
\[
\|f\|_\infty = \sup_{x\in[a,b]} |f(x)|
\]
für $f\in C([a,b],\mathbb{R})$ oder $f\in C([a,b],\mathbb{C})$.

Für die anderen beiden Normen wird zusätzlich das bestimmte Integral
von Funktionen auf $[a,b]$ benötigt.
Die $L^2$-Norm wird erzeugt von dem Skalarprodukt
\index{L2-norm@$L^2$-Norm}%
\index{Skalarprodukt}%
\[
\langle f,g\rangle
=
\frac{1}{b-a}
\int_a^b \overline{f}(x)g(x)\,dx
\qquad\Rightarrow\qquad
\|f\|_2^2 = \frac{1}{b-a}\int_a^b |f(x)|^2\,dx.
\]
Die $L^1$-Norm ist dagegen definiert als.
\[
\|f\|_1
=
\int_a^b |f(x)|\,dx.
\]
Die drei Normen stimmen nicht überein.
Beschränkte Funktionen sind zwar immer integrierbar und quadratintegrierbar.
Es gibt aber integrierbare Funktionen, die nicht quadratintegrierbar sind, zum
Beispiel ist die Funktion $f(x)=1/\sqrt{x}$ auf dem Interval $[0,1]$
\begin{align*}
\|f\|_1
&=
\int_0^1 \frac 1{\sqrt{x}}\,dx
=
[2\sqrt{x}]_0^1
=
2
<
\infty
&&\Rightarrow& \|f\|_1&<\infty
\\
\|f\|_2^2
&=
\int_0^1 \biggl(\frac1{\sqrt{x}}\biggr)^2\,dx
=
\int_0^1 \frac1x\,dx
=
\lim_{t\to 0} [\log x]_t^1 = \infty
&&\Rightarrow&
\|f\|_2 &= \infty.
\end{align*}
Die Vektorräume der integrierbaren und der quadratintegrierbaren Funktionen
sind also verschieden.