Distantie en similariteit

Met distantie en similariteit wordt de mate van verschil en van overeenkomst in kenmerken of attributen van multivariate objecten bedoeld zoals deze berekend kunnen worden op grond van de gemeten variabelen, dus van attributen of kenmerken, van multivariate objecten zoals steekproeven, vegetatieopnamen, vogeltellingen.

Distanties of dissimilariteiten zijn de verschillen die bepaald worden op grond van waarden (of responsies) van de variabelen of attributen bij verschillende objecten. De meest bekende distantie is de euclidische afstand.

Similariteiten zijn juist de overeenkomsten tussen variabelen of tussen objecten. Dergelijke gegevens ten behoeve van de berekening worden weergegeven in tabellen (matrix) met rijen en kolommen voor de variabelen en de objecten. De meest bekende similariteit-maten zijn de correlatiecoëfficienten.

Distanties en similariteiten worden wel gebruikt bij multivariate statistische methoden als clusteranalyse en bij ordinatie van biologische en ecologische gegevens.

Voorafgaand aan de gegevensverwerking is het vaak nodig eerst de distanties of similariteiten tussen de objecten te berekenen, na voorafgaande standaardisatie of normalisatie van de basisgegevens.

Bij een dergelijke berekening gaan de oorspronkelijke data van de variabelen verloren.

Er zijn ook 'directe' analysemethoden beschikbaar, waar deze voorafgaande berekeningen niet nodig zijn.

n×m tabel met m objecten (kolommen), n attributen (rijen) en responsies (cellen)

		m objecten (monsters, samples)								randtotalen variabelen ↓
		Object1	Object2		Objectf		Objectg		Objectm
n afhankelijke variabelen ${\displaystyle y_{1}}$ t/m ${\displaystyle y_{n}}$	Variabele1 ${\displaystyle y_{1}}$	${\displaystyle y_{11}}$	${\displaystyle y_{12}}$		${\displaystyle y_{1f}}$		${\displaystyle y_{1g}}$		${\displaystyle y_{1m}}$	${\displaystyle \sum _{k=1}^{m}y_{1k}}$
	Variabele2 ${\displaystyle y_{2}}$	${\displaystyle y_{21}}$	${\displaystyle y_{22}}$		${\displaystyle y_{2f}}$		${\displaystyle y_{2g}}$		${\displaystyle y_{2m}}$	${\displaystyle \sum _{k=1}^{m}y_{2k}}$
	Variabelei ${\displaystyle y_{i}}$	${\displaystyle y_{i1}}$	${\displaystyle y_{i2}}$		${\displaystyle y_{if}}$		${\displaystyle y_{ig}}$		${\displaystyle y_{im}}$	${\displaystyle \sum _{k=1}^{m}y_{ik}}$
	Variabelej ${\displaystyle y_{j}}$	yj1	${\displaystyle y_{j2}}$		${\displaystyle y_{jf}}$		${\displaystyle y_{jg}}$		${\displaystyle y_{jm}}$	${\displaystyle \sum _{k=1}^{m}y_{jk}}$
	Variabelen ${\displaystyle y_{n}}$	${\displaystyle y_{n1}}$	${\displaystyle y_{n2}}$		${\displaystyle y_{nf}}$		${\displaystyle y_{ng}}$		${\displaystyle y_{nm}}$	${\displaystyle \sum _{k=1}^{m}y_{nk}}$
randtotalen voor de objecten →		${\displaystyle \sum _{h=1}^{n}y_{h1}}$	${\displaystyle \sum _{h=1}^{n}y_{h2}}$		${\displaystyle \sum _{h=1}^{n}y_{hf}}$		${\displaystyle \sum _{h=1}^{n}y_{hg}}$		${\displaystyle \sum _{h=1}^{n}y_{hm}}$	${\displaystyle \sum _{h=1}^{n}\sum _{k=1}^{m}y_{hk}}$

Voor het berekenen van deze indices of coëfficiënten voor distantie en similariteit zijn een groot aantal verschillende formules beschikbaar. Daarnaast kunnen similariteiten vaak worden omgerekend tot distanties en omgekeerd. De rol van objecten en variabelen kan in sommige gevallen worden omgewisseld, zodat niet alleen de distanties en similariteiten tussen de objecten kunnen worden berekend, maar ook tussen variabelen.

De keuze van de index voor distantie of similariteit hangt af van de meetschaal van de responsies. Men onderscheidt de volgende niveaus waarop gemeten wordt:

• kwalitatief, ook wel categorisch:
  • nominaal: benoemen (niet-rangschikbaar kenmerk)
  • ordinaal: ordening (rangschikbaar kenmerk)
• binair (kwalitatief of kwantitatief te interpreteren met: waar/onwaar, 0/1 , ja/nee, aan-/afwezig)
• kwantitatief, (kardinaal, numeriek, metrisch, met: natuurlijk getallen, gehele getallen, reële getallen)
  • interval: gelijke intervallen;
  • ratio: intervallen met een betekenisvol nulpunt.

Daarbij zijn de bovenstaande niveaus in de genoemde volgorde van toenemende complexiteit en omvat een volgend genoemd niveau steeds de eerdere. De circulaire variabelen passen niet in bovenstaand overzicht. Voorbeelden zijn: maand van het jaar, seizoen, tijdstip op de dag, getijde, windrichting. De circulaire variabele moet eerst getransformeerd worden naar twee variabelen. Voorbeeld: 'Getijde' kan getransformeerd worden in de variabelen 'Tijd na laatste hoog water' en 'Tijd na laatste laag water'.

Een binaire variabele is een variabele die slechts twee, elkaar uitsluitende waarden kan aannemen, zoals 1 — 0, Ja - Nee, Positief - Negatief, of Aanwezig - Afwezig. Bij vergelijking van objecten met binaire variabelen worden de waarnemingen zo nodig getransformeerd naar 0 — 1 waarden en kunnen de formules vereenvoudigd worden, afhankelijk van het al of niet meerekenen van de 'dubbel-afwezige' (dubbel 0, dubbel Afwezig, dubbel Nee) overeenkomsten.

Vergelijking van twee objecten i en j met binaire variabelen
met meerekenen van de 'dubbel-afwezigen' objecten object(j) randtotalen ↓ waarden → ↓ 1 (+, Aanwezig, Ja) 0 (—, Afwezig, Nee) object(i) 1 (+, Aanwezig, Ja) A B A + B 0 (—, Afwezig, Nee) C D C + D randtotalen → A + C B + D N = A + B + C + D		met uitsluiting van de 'dubbel-afwezigen' objecten object(j) randtotalen ↓ waarden → ↓ 1 (+, Aanwezig, Ja) 0 (—, Afwezig, Nee) object(i) 1 (+, Aanwezig, Ja) c a - c a 0 (—, Afwezig, Nee) b - c ø ('dubbel-Afwezig') b - c randtotalen → b a - c m = a + b - c
waarin: ${\displaystyle y_{ik}}$ en ${\displaystyle y_{jk}}$ hebben de waarden 0 of 1 A = ${\displaystyle \sum _{k=1}^{N}(y_{ik}\cdot y_{jk})}$, B = ${\displaystyle \sum _{k=1}^{N}(y_{ik}\cdot (1-y_{jk}))}$, C = ${\displaystyle \sum _{k=1}^{N}(1-(y_{ik})\cdot y_{jk})}$ en D = ${\displaystyle \sum _{k=1}^{N}(1-y_{ik})\cdot (1-y_{jk})}$		waarin: ${\displaystyle y_{ik}}$ en ${\displaystyle y_{jk}}$ hebben de waarden 0 of 1 a = ${\displaystyle \sum _{k=1}^{m}y_{ik}}$, b = ${\displaystyle \sum _{k=1}^{m}y_{jk}}$ en c = ${\displaystyle \sum _{k=1}^{m}(y_{ik}\cdot y_{jk})}$

Onder 'dubbel-afwezig' verstaat men de situatie dat beide binaire variabelen de waarde 0 (—, Afwezig, Nee) hebben. In sommige gevallen hebben deze geen zinvolle betekenis.

Nominale en ordinale variabelen kunnen voor de verschillende waarden getransformeerd worden naar binaire variabelen. Een voorbeeld is een ecologische gegevenstabel met abundanties van aangetroffen soorten. Het ontbreken van soorten in twee te vergelijken objecten (bijvoorbeeld tellingen, monsters, vegetatieopnamen) geeft meestal geen zinvolle informatie.

Voorbeelden van similariteiten zijn correlaties en cosinus. Correlatiecoëfficiënten nemen waarden aan van -1 tot +1, waarbij bij de hoogste waarde staat voor de hoogste mate van overeenkomst (similariteit) en de kleinste distantie (dissimilariteit). Om als distantiemaat te kunnen fungeren moeten ze dus getransformeerd worden.

afko.	naam	formule	waarin:	range
${\displaystyle r}$	Pearsons product-moment correlatiecoëfficiënt  (algemene formule)	${\displaystyle r_{ij}={\frac {m\cdot \sum _{k=1}^{m}y_{ik}\cdot y_{jk}-\sum _{k=1}^{m}y_{ik}\cdot \sum _{k=1}^{m}y_{jk}}{{\sqrt {m\cdot \sum _{k=1}^{m}y_{ik}^{2}-(\sum _{k=1}^{m}y_{ik})^{2}}}\cdot {\sqrt {m\cdot \sum _{k=1}^{m}y_{jk}^{2}-(\sum _{k=1}^{m}y_{jk})^{2}}}}}}$	${\displaystyle r_{ij}}$ = correlatie ${\displaystyle y_{ik}}$ = waarde voor object i en variabele k ${\displaystyle y_{jk}}$ = waarde voor object j en variabele k m = aantal waarden	[-1,+1]
${\displaystyle \rho _{S}}$	Spearmans rangcorrelatiecoëfficiënt	${\displaystyle \rho _{ij}=1-{\frac {6\cdot \sum _{k=1}^{m}(y_{ik}-y_{jk})^{2}}{m\cdot (m^{2}-1)}}}$	${\displaystyle \rho _{ij}}$ = rangcorrelatiecoëfficiënt yik en yjk zijn rangnummers binnen de variabelen Yi en Yj	[-1,+1]
${\displaystyle phi}$, ${\displaystyle \varphi }$	puntcorrelatie, associatiecoëfficiënt	${\displaystyle \varphi _{ij}={\frac {BC-AD}{\sqrt {(A+B)(A+C)(B+C)(C+D)}}}}$	${\displaystyle \varphi _{ij}}$ = puntcorrelatie yik en yjk zijn presenties: 0 of 1	[-1,+1]
${\displaystyle \cos }$	cosinus van de hoek α tussen de vectoren door de oorsprong	${\displaystyle \cos _{ij}={\frac {\sum _{k=1}^{m}(y_{ik}\cdot y_{jk})}{\sqrt {\sum _{k=1}^{m}(y_{ik})\cdot \sum _{k=1}^{m}(y_{jk})}}}}$ voor binaire variabelen wordt de formule: ${\displaystyle Cos_{ij}={\frac {c}{\sqrt {a\cdot b}}}}$	${\displaystyle \cos _{ij}}$ = cosinus ${\displaystyle y_{ik}}$ = waarde voor object i en variabele k ${\displaystyle y_{jk}}$ = waarde voor object j en variabele k m = aantal waarden	[-1,+1]

Een andere correlatiecoëfficiënt is de punt-biseriële correlatiecoëfficiënt, evenals de puntcorrelatie een variant van de Pearsons product-momentcorrelatiecoëfficiënt.

Overige maten voor similariteit, zoals de coëfficiënten van Jaccard, Sörensen, Whittaker en Motyka worden besproken bij de distanties.

Voorbeelden van indices voor distanties.

afkorting	naam coëfficiënt	formule	waarin: m = aantal variabelen	range
MD	Minkowski distance,  geïnduceerd door de Lr-norm  (algemene formule)	${\displaystyle MD_{ij}=(\sum _{k=1}^{m}{\mid y_{ik}-y_{jk}\mid }^{r})^{\frac {1}{r}}}$	MDij = distantie tussen objecten i en j yik = waarde voor object i en variabele k yjk = waarde voor object j en variabele k m = aantal attributen met positieve waarden r is een constante (1 of 2)
CBD	city block distance, Manhattan-metriek	${\displaystyle {CBD}_{ij}=\sum _{k=1}^{m}{\mid y_{ik}-y_{jk}\mid }}$		[0, ∞)
ED	Euclidische afstand euclidische afstand	${\displaystyle {ED}_{ij}=(\sum _{k=1}^{m}{{(y_{ik}-y_{jk})}^{2})}^{\frac {1}{2}}}$		[0, ∞)
MCD	mean character distance	${\displaystyle {MCD}_{ij}={\frac {1}{m}}\cdot \sum _{k=1}^{m}{\mid y_{ik}-y_{jk}\mid }}$		[0, ∞)
GE	gemiddelde euclidische afstand euclidische vorm van MCD	${\displaystyle {GE}_{ij}={\frac {1}{m}}\cdot (\sum _{k=1}^{m}{{(y_{ik}-y_{jk})}^{2})}^{\frac {1}{2}}}$		[0, ∞)
DM	distance metric  (algemene formule)	${\displaystyle DM_{ij}=\left(\sum _{k=1}^{m}{\frac {{\mid y_{ik}-y_{jk}\mid }^{r}}{(y_{ik}+y_{jk})^{r}}}\right)^{\frac {1}{r}}}$	DMij = distantie tussen objecten i en j yik = waarde voor object i en variabele k yjk = waarde voor object j en variabele k m = aantal attributen met positieve waarden r is een constante (1 of 2)
CM	Canberra metric	${\displaystyle CM_{ij}=\sum _{k=1}^{m}{\frac {\mid y_{ik}-y_{jk}\mid }{(y_{ik}+y_{jk})}}}$		[0, ∞)
HM	Hodson's metric, euclidische vorm van CM	${\displaystyle HM_{ij}=\left(\sum _{k=1}^{m}{\frac {{(y_{ik}-y_{jk})}^{2}}{(y_{ik}+y_{jk})^{2}}}\right)^{\frac {1}{2}}}$		[0, ∞)
CD	coefficient of divergence	${\displaystyle CD_{ij}={\frac {1}{m}}\cdot \left(\sum _{k=1}^{m}{\frac {{(y_{ik}-y_{jk})}^{2}}{(y_{ik}+y_{jk})^{2}}}\right)^{\frac {1}{2}}}$		[0, 1]
M	Motyka distantie naar Motyka, percentage dissimilarity distantie naar Czekanowsky, kwantitatieve vorm van Sørensen  (algemene formule)	${\displaystyle M_{ij}={\frac {\sum _{k=1}^{m}{y_{ik}}+\sum _{k=1}^{m}{y_{jk}}-2\cdot \sum _{k=1}^{m}{\min(y_{ik},y_{jk})}}{\sum _{k=1}^{m}{y_{ik}}+\sum _{k=1}^{m}{y_{jk}}}}}$	Mij = distantie tussen objecten i en j yik = waarde voor object i en variabele k yjk = waarde voor object j en variabele k m = aantal attributen met positieve waarden	[0, 1]
S	Sørensen distantie naar Sørensen, distantie naar Dice, 1-coefficient of community	${\displaystyle S_{ij}={\frac {a+b-2c}{a+b}}}$		[0, 1]
W	Whittaker distantie naar Whittaker, kwantitatieve vorm van Jaccard	${\displaystyle W_{ij}={\frac {\sum _{k=1}^{m}{y_{ik}}+\sum _{k=1}^{m}{y_{jk}}-2\cdot \sum _{k=1}^{m}{\min(y_{ik},y_{jk})}}{\sum _{k=1}^{m}{y_{ik}}+\sum _{k=1}^{m}{y_{jk}}-\sum _{k=1}^{m}{\min(y_{ik},y_{jk})}}}}$		[0, 1]
J	Jaccard distantie naar Jaccard	${\displaystyle J_{ij}={\frac {a+b-2c}{a+b-c}}}$		[0, 1]
H	heterogeniteit	${\displaystyle H_{ij}=\sum _{k=1}^{m}{\mid y_{ik}-y_{jk}\mid }}$	yik en yjk zijn numerieke waarden	[0, ∞)
		${\displaystyle H_{ij}=a+b-2c}$	a, b en c: zie hierbovenstaande tabel
SM'	Simple Matching Coefficient complement van simple matching coefficient	${\displaystyle {SM'}_{ij}={\frac {A+D}{A+B+C+D}}}$	A, B, C en D: zie hierbovenstaande tabel	[0, 1]
YC	Yule-coefficient	${\displaystyle YC_{ij}={\frac {A\cdot D-B\cdot C}{A\cdot D+B\cdot C}}}$		[-1, 1]
χ2	Chi-kwadraat afstand	${\displaystyle \chi _{ij}^{2}={\frac {(A+B+C+D)\cdot (A\cdot D-B\cdot C)^{2}}{(A+B)\cdot (C+D)\cdot (A+C)\cdot (B+D)}}}$		[0, ∞)

Een distantiematrix is een vierkante, symmetrische matrix met voor elk paar van objecten de onderlinge distanties. Een dergelijke matrix is symmetrisch, omdat de distantie tussen objecten ${\displaystyle a}$ en ${\displaystyle b}$ gelijk is aan de distanties tussen de objecten ${\displaystyle b}$ en ${\displaystyle a}$. Op de diagonaal staan de distanties van de objecten tot zichzelf: 0.

Distantiematrices worden onder andere gebruikt bij ordinatietechnieken op basis van een distantiematrix,^[1] zoals polaire ordinatie (PO), principal coordinates analysis, PCoA of metric multidimensional scaling, en nonmetric multidimensional scaling (NMDS).

Een matrix met similariteiten in plaats van distanties wordt ook wel resemblance matrix genoemd.