Ein Permutationstest ist in der nichtparametrischen Statistik ein exakter Test, bei dem zufällige Stichprobenwiederholungen unter Annahme der Nullhypothese identischer Verteilungen ${\displaystyle H_{0}:F=G}$ gezogen werden. Die Umsetzung erfolgt häufig mithilfe von Monte-Carlo-Simulationen und dem "Was-wäre-wenn-Ansatz". Basierend auf der daraus resultierenden Verteilung der Teststatistik wird bestimmt, wie wahrscheinlich die Teststatistik der Originaldaten unter der Nullhypothese ist.

Mithilfe von Permutationstests kann beispielsweise untersucht werden, ob zwei Stichproben aus unterschiedlichen Verteilungen stammen (beispielsweise kann man die Differenz der Mittelwerte als Teststatistik auswerten). Die Nullhypothese ist, dass beide Stichproben der gleichen Verteilung entstammen (und die Differenz der Mittelwerte den Wert 0 annimmt). Gilt die Nullhypothese, dann können Datenpunkte von der einen Stichprobe in die andere getauscht werden (Permutation). Man erhält durch Permutieren Stichprobenwiederholungen und kann dann die entsprechende Teststatistik wiederholt berechnen und deren empirische Verteilung bestimmen. Aus dieser Verteilung leitet sich direkt der p-Wert der auf den beiden ursprünglichen Stichproben vorliegenden Teststatistik ab^[1]. Die Zahl der möglichen (sich nicht wiederholenden) Permutationen ist ${\displaystyle N_{1}+N_{2} \choose {N_{1}}}$, wobei ${\displaystyle N_{i}}$ die jeweiligen Stichprobenumfänge sind. Da ${\displaystyle N_{1}+N_{2} \choose {N_{1}}}$ schnell sehr groß wird, beschränkt man sich typischerweise auf eine Monte-Carlo-Simulation, welche eine bestimmte Zahl zufälliger Permutationen zieht (vgl. auch Fisher-Yates-Algorithmus zur Implementierung).

Die Zahl der nötigen Permutationen kann durch Stoppregeln bestimmt werden^[2].

Ein Beispiel für einen Permutationstest zur Varianzanalyse ist PERMANOVA.

Für gepaarte Stichproben ist der gepaarte Permutationstest geeignet, welcher die Paarungsstruktur beibehält und lediglich innerhalb der jeweiligen Paare permutiert. Daneben ist der Bootstraptest (neben dem nichtparametrischen Wilcoxon-Vorzeichen-Rang-Test) geeignet um bei gepaarten Stichproben zu überprüfen ob der Mittelwert der Differenzen statistisch signifikant von Null verschieden ist.

Randomisierte Tests (welche auf einer zufälligen Zuweisung des Testergebnisses beruhen) sind nicht zu verwechseln mit Permutationstests (welche auf zufälligen Stichprobenwiederholungen basieren)^[3]. Historisch wurden Permutationstests gelegentlich als randomisierte Tests bezeichnet.

Bootstrap-basierte Tests nehmen nicht zwangsläufig die Nullhypothese ${\displaystyle H_{0}:F=G}$ an (obwohl es möglich ist).

• Monte Carlo Methods. In: Randomization, Bootstrap and Monte Carlo Methods in Biology. Chapman and Hall/CRC, 3. Oktober 2018. 
• Pesarin, F., Salmaso, L. (2010). Permutation Tests for Complex Data: Theory, Applications and Software. Wiley. https://www.google.de/books/edition/Permutation_Tests_for_Complex_Data/9PWVTOanxPUC?hl=de

1. ↑ Permutation Test: Visual Explanation. Abgerufen am 21. September 2021. 
2. ↑ Axel Gandy: Sequential Implementation of Monte Carlo Tests With Uniformly Bounded Resampling Risk. In: Journal of the American Statistical Association. Band 104, Nr. 488, Dezember 2009, ISSN 0162-1459, S. 1504–1511, doi:10.1198/jasa.2009.tm08368. 
3. ↑ Patrick Onghena: Randomization Tests or Permutation Tests? A Historical and Terminological Clarification. In: Randomization, Masking, and Allocation Concealment. 1. Auflage. Chapman and Hall/CRC, Boca Raton 2017, ISBN 978-1-315-30511-0, S. 209–228, doi:10.1201/9781315305110-14 (taylorfrancis.com).