In der Mathematik versteht man unter dem Kern einer Menge eine Teilmenge, die klein genug ist, um bestimmte Anforderungen zu erfüllen, und zugleich die größte Menge ist, die diese Anforderungen erfüllt. Das wichtigste Beispiel ist der offene Kern bzw. das Innere einer Teilmenge eines topologischen Raums. Kernoperator bezeichnet die Vorschrift, durch die jeder Menge von Objekten ihr Kern zugeordnet wird. Die durch einen Kernoperator gegebenen Kerne bilden ein Kernsystem, also ein Mengensystem mit bestimmten Eigenschaften.

Über einer gegebenen Grundmenge ${\displaystyle X}$ ist ein Kernoperator eine intensive, monotone, idempotente Abbildung ${\displaystyle K\colon {\mathcal {P}}(X)\to {\mathcal {P}}(X)}$ auf der Potenzmenge von ${\displaystyle X}$, die jeder Teilmenge ${\displaystyle A\subseteq X}$ eine weitere Teilmenge von ${\displaystyle X}$, nämlich den Kern ${\displaystyle K(A)\subseteq X}$, zuordnet, wobei folgende Bedingungen erfüllt sind:

• Intensivität: ${\displaystyle K(A)\subseteq A}$, das heißt: Der Kern von ${\displaystyle A}$ ist in der Menge ${\displaystyle A}$ selbst enthalten.
• Monotonie bzw. Isotonie: ${\displaystyle A\subseteq B\ \Rightarrow \ K(A)\subseteq K(B)}$, das heißt: Wenn ${\displaystyle A}$ Teilmenge von ${\displaystyle B}$ ist, so gilt das entsprechend auch für ihre Kerne.
• Idempotenz: ${\displaystyle K(K(A))=K(A)}$, das heißt: Bildet man vom Kern einer Menge nochmals den Kern, so bleibt dieser unverändert.

Aufgrund der beiden anderen Anforderungen genügt es auch, an Stelle der Idempotenz nur ${\displaystyle K(A)\subseteq K(K(A))}$ zu fordern, das heißt: Jeder Kern liegt in seinem eigenen Kern.

Äquivalent zu den drei genannten Einzelforderungen ist folgende. ${\displaystyle K\colon {\mathcal {P}}(X)\to {\mathcal {P}}(X)}$ heißt Kernoperator, wenn für alle ${\displaystyle A,B\subseteq X}$ gilt:

• ${\displaystyle K(A)\subseteq K(B)\Longleftrightarrow K(A)\subseteq B}$

Zum Nachweis der Intensivität setze man ${\displaystyle B:=A}$, für die Idempotenz setze man ${\displaystyle B:=K(A)}$, und die Monotonie folgt dann dank Intensivität (${\displaystyle K(A)\subseteq A}$).

Ein Kernsystem ist ein unter beliebiger Vereinigungsmengenbildung abgeschlossenes Mengensystem, d. h., ein Kernsystem über einer Menge ${\displaystyle X}$ ist eine aus Teilmengen der Grundmenge ${\displaystyle X}$ bestehende Menge ${\displaystyle {\mathcal {S}}}$ mit folgenden Eigenschaften:

• ${\displaystyle {\mathcal {S}}}$ enthält die leere Menge: ${\displaystyle \emptyset \in {\mathcal {S}}}$.
• Für jede nichtleere Teilmenge ${\displaystyle {\mathcal {T}}}$ von ${\displaystyle {\mathcal {S}}}$ ist die Vereinigung der Elemente von ${\displaystyle {\mathcal {T}}}$ ein Element aus ${\displaystyle {\mathcal {S}}}$, oder kurz: ${\displaystyle \forall {\mathcal {T}}\subseteq {\mathcal {S}},\,{\mathcal {T}}\neq \emptyset :\,\bigcup _{T\in {\mathcal {T}}}T\in {\mathcal {S}}}$.

Mit der Konvention ${\displaystyle \bigcup _{T\in \emptyset }T:=\emptyset }$ lassen sich die beiden genannten Bedingungen zu einer einzigen äquivalenten Bedingung zusammenfassen:

• Für jede Teilmenge ${\displaystyle {\mathcal {T}}}$ von ${\displaystyle {\mathcal {S}}}$ ist die Vereinigung der Elemente von ${\displaystyle {\mathcal {T}}}$ ein Element aus ${\displaystyle {\mathcal {S}}}$, oder kurz: ${\displaystyle \forall {\mathcal {T}}\subseteq {\mathcal {S}}:\,\bigcup _{T\in {\mathcal {T}}}T\in {\mathcal {S}}}$.

Kernsysteme und Kernoperatoren entsprechen einander:

1. Ist ${\displaystyle {\mathcal {S}}}$ ein Kernsystem über ${\displaystyle X}$, dann kann man einen Kernoperator ${\displaystyle K_{\mathcal {S}}}$ auf ${\displaystyle X}$ wie folgt definieren: ${\displaystyle K_{\mathcal {S}}(A):=\bigcup _{A\supseteq Y\in {\mathcal {S}}}Y}$ für alle ${\displaystyle A\subseteq X}$
2. Umgekehrt kann aus jedem Kernoperator ${\displaystyle K}$ auf ${\displaystyle X}$ ein Kernsystem ${\displaystyle {\mathcal {S}}_{K}}$ über ${\displaystyle X}$ gewonnen werden: ${\displaystyle {\mathcal {S}}_{K}:=\{K(A)\mid A\subseteq X\}}$

Tatsächlich ist für eine Teilmenge ${\displaystyle {\mathcal {T}}\subseteq {\mathcal {S}}_{K}}$ die Vereinigung ${\displaystyle \bigcup _{T\in {\mathcal {T}}}K(T)}$ selbst ein Kern. Dazu genügt es zu zeigen, dass ${\displaystyle K\left(\bigcup _{T\in {\mathcal {T}}}K(T)\right)\supseteq \bigcup _{T\in {\mathcal {T}}}K(T)}$ ist. Dies folgt aus der trivialen Aussage ${\displaystyle \forall T\in {\mathcal {T}}:\,\bigcup _{T\in {\mathcal {T}}}K(T)\supseteq K(T)}$.

Daher ist ein Kernsystem ${\displaystyle {\mathcal {S}}}$ nicht nur gegenüber beliebiger Vereinigungsbildung stabil, sondern lässt auch die Bildung eines Infimums (nämlich in Gestalt des Kerns) über einer beliebigen Menge ${\displaystyle {\mathcal {A}}}$ von Teilmengen ${\displaystyle A\subseteq X}$ zu:

${\displaystyle \operatorname {Inf} _{\mathcal {S}}{\mathcal {A}}:=\bigwedge _{A\in {\mathcal {A}}}^{\mathcal {S}}A:=K_{\mathcal {S}}\left(\bigcap _{A\in {\mathcal {A}}}A\right)}$.

Die Begriffspaare „Hüllenoperator – Kernoperator“ bzw. „Hüllensystem – Kernsystem“ stehen zueinander in „komplementärem“ oder „dualem“ Verhältnis, das heißt: Die Komplementärmengen des einen Systems erfüllen die Bedingungen des anderen, wobei der Durchschnitt durch die Vereinigung und das Supremum (die Hülle) durch das Infimum (Kern) ersetzt wird.

• Die offenen Mengen eines topologischen Raumes bilden ein Kernsystem, nämlich die Topologie des Raumes. Der zugehörige Kernoperator ist die Bildung des Inneren einer Teilmenge.

• Hüllenoperator
• Mengenverband
• Verband (Mathematik)

• Marcel Erné: Einführung in die Ordnungstheorie. Bibliographisches Institut, Mannheim 1982, ISBN 3-411-01638-8. 
• Heinrich Werner: Einführung in die allgemeine Algebra. Bibliographisches Institut, Mannheim 1978, ISBN 3-411-00120-8.