In der Statistik wird die Bezeichnung lineares Modell (kurz: LM) auf unterschiedliche Arten verwendet und in unterschiedlichen Kontexten. Am häufigsten kommt der Begriff in der Regressionsanalyse vor und wird meistens synonym zu dem Begriff lineares Regressionsmodell benutzt. Dennoch wird die Bezeichnung ebenfalls in der Zeitreihenanalyse verwendet, wo sie eine andere Bedeutung hat. In jedem Fall wird die Attribution „linear“ benutzt, um sich auf eine bestimmte Klasse von Modellen zu beziehen.

Im Fall der linearen Regression definiert man ein lineares Modell wie folgt: Es sei die Zufallsstichprobe ${\displaystyle (Y_{i};X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n}$ gegeben, mit den Realisierungen ${\displaystyle X_{1}=x_{1},\ldots ,X_{n}=x_{n}}$. Die Beziehung zwischen den abhängigen Variablen ${\displaystyle Y}$ und den unabhängigen Variablen ${\displaystyle x_{1},\ldots x_{n}}$ wird wie folgt formuliert:

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(x_{i1})+\ldots +\beta _{p}\phi _{p}(x_{ip})+\varepsilon _{i}\quad ,i=1,\ldots ,n}$,

wobei ${\displaystyle \phi _{1},\ldots ,\phi _{p}}$ nicht-lineare Funktionen darstellen können. In der obigen Regressionsgleichung stellen die Störterme ${\displaystyle \varepsilon _{i}}$ Zufallsvariablen dar. Das Beiwort ergibt sich aus der Forderung, dass die Regressionsgleichung linear in den Regressionsparametern ${\displaystyle \beta _{j}}$ ist. Beispielsweise wäre ${\displaystyle \beta _{j}^{2}}$ nicht zulässig. Alternativ zur obigen Gleichung kann man auch sagen, dass die vorhergesagten Werte der abhängigen Variablen durch die folgende Gleichung gegeben sind:

${\displaystyle {\widehat {Y}}_{i}=b_{0}+b_{1}\phi _{1}(x_{i1})+\ldots +b_{p}\phi _{p}(x_{ip})\quad ,i=1,\ldots ,n}$.

Unter der Annahme, dass die Schätzung der Regressionsparameter und der Fehlervarianz mithilfe der Methode der kleinsten Quadrate durchgeführt wird, ergibt sich folgendes Kleinste-Quadrate-Minimierungskriterium:

${\displaystyle Q=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(x_{i1})-\ldots -\beta _{p}\phi _{p}(x_{ip})\right)^{2}\rightarrow \mathrm {Min!} }$.

Daraus kann man leicht erkennen, dass der „lineare“ Aspekt des Modells folgendes bedeutet:

• Die zu minimierende Funktion ist eine quadratische Funktion der Regressionskoeffizienten ${\displaystyle \beta _{j}}$.
• Die Ableitungen der Funktion sind lineare Funktionen von ${\displaystyle \beta _{j}}$, die es einfach machen, die Parameterschätzer zu finden.
• Die Parameterschätzer ${\displaystyle b_{0},\ldots ,b_{p}}$ sind lineare Funktionen der Zufallsvariablen ${\displaystyle Y_{i}}$.

• Ludwig Fahrmeir, Thomas Kneib, Stefan Lang: Regression: Modelle, Methoden und Anwendungen. 2. Auflage. Springer Verlag, 2009, ISBN 978-3-642-01836-7.