Google File System

Google File System

Tipus	Sistema d'arxius distribuït
Versió inicial	2003
Versió estable	2012 / Colossus
Llicència	Propietèria
Característiques tècniques
Sistema operatiu	Linux
Escrit en	Go, JavaScript, Python
Equip
Desenvolupador(s)	Google
Més informació
Lloc web	research.google.cat/archive/gfs.html/

Google File System (amb acrònim GFS) és un sistema propietari d'arxius distribuïts desenvolupat per l'empresa Google per a proveir d'un accés fiable i escalable de dades tot emprant maquinari format per grans clústers d'ordinadors estàndard (off-the-shelf computer).^[1][2][3]

Assumpcions de disseny :

• Els servidors són ordinadors estàndard (off-the-shelf computer) i, per tant, amb una taxa de fallida elevada.
• Gran quantitat d'arxius (100 milions) de 100 MB o més gran.
• Lectures seqüencials i no aleatories dintre dels arxius.
• Escriptures seqüencials (només afegim) i no aleatories dintre dels arxius.

Arquitectura :

• Els arxius estan dividits en blocs de mida fixa (chunks) de 64 KB (similar als sectors d'un sistema d'arxius de disc dur) que molt rarament seran sobrescrits (només llegits o afegits).
• El clúster de GFS està format per múltiples nodes. Aquests nodes estan dividits en dos tipus : un node Master i un gran nombre de servidors de chunks que són els que els emmagatzemen. A cada chunk, el Master li assigna una etiqueta de 64 bits en el moment de creació. Cada chunk és replicat diversos cops (amb un mínim de 3) a través de la xarxa (redundància que protegeix de fallides).
• El sistema GFS no està implementat dins el nucli del sistema operatiu, sinó que és una biblioteca d'usuari.

• Apache Hadoop