Gibbs-Sampling

Dieser Artikel oder Abschnitt bedarf einer grundsätzlichen Überarbeitung. Näheres sollte auf der Diskussionsseite angegeben sein. Bitte hilf mit, ihn zu verbessern, und entferne anschließend diese Markierung.

Gibbs-Sampling, auch Gibbs-Stichprobenentnahme, ist ein Markov-Chain-Monte-Carlo-Algorithmus, um eine Folge von Stichproben der gemeinsamen Wahrscheinlichkeitsverteilung zweier oder mehrerer Zufallsvariablen zu erzeugen. Das Ziel ist es dabei, die unbekannte gemeinsame Verteilung zu approximieren. Der Algorithmus ist aufgrund der Ähnlichkeit des Sampling-Verfahrens mit Methoden der statistischen Physik nach dem Physiker Josiah Willard Gibbs benannt. Entwickelt wurde er von Stuart Geman und Donald Geman (siehe Literaturhinweis). Gibbs-Sampling ist ein Spezialfall des Metropolis-Hastings-Algorithmus.

Definition

Gibbs-Sampling eignet sich besonders dann, wenn die gemeinsame Verteilung eines Zufallsvektors unbekannt, jedoch die bedingte Verteilung einer jeden Zufallsvariable bekannt ist. Das Grundprinzip besteht darin, wiederholend eine Variable auszuwählen und gemäß ihrer bedingten Verteilung einen Wert in Abhängigkeit von den Werten der anderen Variablen zu erzeugen. Die Werte der anderen Variablen bleiben in diesem Iterationsschritt unverändert. Aus der entstehenden Folge von Stichprobenvektoren lässt sich eine Markow-Kette herleiten. Es kann gezeigt werden, dass die stationäre Verteilung dieser Markow-Kette gerade die gesuchte gemeinsame Verteilung des Zufallsvektors ist.

Anwendung

Ein besonders günstiger Anwendungsfall ergibt sich im Zusammenhang mit Bayes’schen Netzen, insbesondere beim Schätzen der A-posteriori-Verteilung, da die übliche Repräsentation eines Bayes’schen Netzes ein System von bedingten Verteilungen ist.

Literatur

  • Stuart Geman und Donald Geman: Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. In: IEEE Transactions on Pattern Analysis and Machine Intelligence, 6:721-741, 1984.
  • C.P. Robert and G. Casella: Monte Carlo Statistical Methods. Springer, New York 2004.
  • Michael S. Johannes und Nick Polson: MCMC Methods for Continuous-Time Financial Econometrics. (December 22, 2003). Available at SSRN: http://ssrn.com/abstract=480461

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.