Calcolo numerico/Approssimazione dei minimi quadrati con funzioni continue

Descrizione del problema

Supponiamo di avere una funzione $f$ continua su un certo intervallo $[a,b]$ (invece che un insieme di dati), e supponiamo di considerare un set di funzioni $\{{\varphi }_j(x)\}$ che costituiscono un insieme di generatori indipendenti. Vogliamo determinare ${\varphi }_{\ast }(x)=\sum _{j=1}^n{\alpha }_j^{\ast }{\varphi }_j(x)$ tali che

$(|f-{\varphi }_{\ast }|{)}^2=\underset{\varphi \in V}{min}(|f-\varphi |{)}^2$

Consideriamo il prodotto scalare $L_2$ pesato, tale che

$g\cdot h={\int }_a^b\omega (x)g(x)h(x)dx$

dove $\omega (x)$ viene chiamata peso.

Si dice funzione peso una funzione $\omega (x)\ge 0\mathrm{\forall }x\in [a,b]$, e tale che ${\int }_a^b\omega (x)dx<\mathrm{\infty }$. Il prodotto scalare induce una norma

$|g|=\sqrt{{\int }_a^b\omega (x)g(x)dx}$

Chiamiamo

$\psi (a_0,\dots ,a_n)=(|f-\varphi |{)}^2={\int }_a^b[f(x)-\sum _{j=0}^n{a}_j{\varphi }_j(x){]}^2{\omega }_{x}dx$

Per ogni $i=0,\dots ,n$ consideriamo

$\frac{\partial \psi }{\partial a_i}={\int }_a^b\frac{\partial }{\partial a_i}[f-\sum _{j=0}^n\varphi (x{)}^2]\omega (x)dx$

$={\int }_a^{b}2\ast (f(x)-\sum _{j=0}^n{a}_j{\varphi }_j(x))\ast (-{\varphi }_j(x))\ast \omega (x)dx$

e imponiamo

$2(-f\cdot {\varphi }_i+\sum _{j=0}^n{a}_j\ast {\varphi }_i\cdot {\varphi }_j)=0$

Otteniamo il sistema delle equazioni normali

$C𝒂=𝒃$

con

$C=(c_{ij})={\varphi }_i\cdot {\varphi }_j$

$b_i=f\cdot {\varphi }_i$

Come nel caso discreto, $C=H_{\psi }$, e dimostriamo che $C$ è simmetrica e definita positiva.

Proposizione 5.2

Se $C$ è simmetrica definita positiva, allora esiste unica la soluzione del sistema

$C𝒂=𝒃$

ed è un minimo.

Dim. La simmetria è ovvia per le proprietà del prodotto scalare

$c_{ij}={\varphi }_i\cdot {\varphi }_j={\int }_a^b{\varphi }_i{\varphi }_j\omega (x)dx={\varphi }_j\cdot {\varphi }_i\mathrm{\forall }i,j$

Dimostriamo che per ogni $z\ne 0$.

${𝒛}^{t}C𝒛>0$

dove

${𝒛}^{t}C𝒛=\sum _{i,j=0}^n{z}_i{C}_{ij}{z}_j$

e sostituendo le espressioni dei $C_{ij}$ otteniamo

$=(\sum _i{z}_i{\varphi }_i)\ast \sum _j{\varphi }_j{z}_j)$

$=(|\sum _{j=0}^n{\varphi }_j{z}_j|{)}^2\ge 0$

$z^{t}Cz=0$ se e solo se $|\varphi |=0$, cioè

$\sum _{j=0}^n{\varphi }_j{z}_j=0$

e quindi se e solo se $z_j=0\mathrm{\forall }j$.

Si garantisce che l'unica soluzione del sistema lineare è un minimo.

Esempio sullo spazio dei polinomi

Consideriamo come peso $w(x)=1$, e i generatori ${\varphi }_j=x^j,j=0,\dots ,n$ (spazio dei polinomi di grado $n$).

$c_{ij}={\int }_a^b{x}^i{x}^{j}dx={\int }_a^b{x}^{i+j}dx=1/(i+j+1)\ast [b^{i+j+1}-a^{i+j+1})$

Si ottiene una matrice di Henkel, costante lungo le antidiagonali.

Nel caso in cui $[a,b]=[0,1]$ si ha $c_{ij}=1/(i+j+1)$ e $C$ è la matrice di Hilbert.

$\begin{array}{cccc}1& 1/2& 1/3& 1/4\\ 1/2& 1/3& 1/4& 1/8\\ 1/3& 1/4& 1/5& 1/6\\ 1/4& 1/5& 1/6& 1/7\end{array}$

È un esempio di matrice mal condizionata.

Sistema di generatori ortogonali

Per evitare di avere sistemi con matrici mal condizionate, consideriamo ${\varphi }_i\cdot {\varphi }_j=0\mathrm{\forall }i\ne j$, in modo che $C$ sia una matrice diagonale.

Introduciamo famiglie di polinomi ortogonali rispetto a funzioni peso assegnate.

Caso 1: polinomi di Legendre

Questi polinomi sono ortogonali sull'intervallo $[-1,1]$ con $\omega (x)=1$.

$l_i\cdot l_j={\int }_a^b{l}_i{l}_{j}dx=k\ast {\delta }_{ij}$

$l_0(x)=1$

$l_1(x)=x$

$(j+1)\ast l_{j+1}(x)=(2j+1)x\ast l_j(x)-j{l}_{j-1}(x)\text{formula di ricorsione a tre termini}$

dove $l_i\cdot l_i=2/(2i+1)$.

Segue che, siccome il sistema dei minimi quadrati ha una matrice diagonale, si ha

$a_j={\int }_{-1}^1\frac{f\ast {\varphi }_j}{2/(2j+1)}$

Il condizionamento spettrale di una matrice simmetrica e definita positiva è

$\frac{{\lambda }_{max}(C)}{{\lambda }_{min}(C)}=\frac{2/(0+1)}{2/(2n+1)}=2n+1$

e il condizionamento cresce in maniera lineare rispetto a $n$.

Caso 2: polinomi di Chebyshev

Definiamo i pesi

$w(x)=\frac{1}{\sqrt{1-x^2}}$

e

$t_j(x)=\cos (j\ast \arccos x)$

$t_i\cdot t_j={\int }_{-1}^1\frac{\cos (j\ast \arccos (x))\ast \cos (i\ast \arccos (x))}{\sqrt{1-x^2}}=$

$=\{\begin{array}{cc}0& ⟺i\ne j\\ \pi & ⟺i=j=0\\ \pi /2& ⟺i=j>0\end{array}$

$a_j={\int }_{-1}^1\frac{f\ast t_j}{\sqrt{1-x^2}\ast (t_j\cdot t_j)}$

Cerchiamo

$K_2(C)=\frac{\pi }{\pi /2}=2$

e il condizionamento è indipendente dalla dimensione.