The Google File System

Rangkuman dari The Google File System

Nama : Muhammad Daffa Abiyyu Rahman

NRP : 6022211015

Google File System, disingkat GFS adalah sebuah sistem distribusi file yang dapat diskalakan (scalable) untuk aplikasi dengan data berjumlah besar. GFS di desain untuk memiliki toleransi kegagalan saat berjalan di hardware komoditas murah, dan memberikan performa tinggi untuk klien dalam jumlah besar.

Sebagian besar dari tujuan GFS merupakan tujuan yang umumnya dimiliki oleh sistem file terdistribusi lainnya, GFS memiliki desain yang didorong berdasarkan dari beban aplikasi yang dimiliki oleh Google dan juga perkembangan teknologi di Google. Perhitungan desain ini tidak hanya memperhitungkan kondisi terkini, tetapi juga kondisi yang akan dihadapi oleh sistem ini di masa depan. Perhitungan ini, beberapa di antaranya membawa asumsi-asumsi yang berlawanan dengan desain tradisional. Berikut adalah asumsi yang digunakan dalam GFS:

1. Sistem dibangun dengan hardware yang tidak terbilang mahal, dan perlu mendeteksi kegagalan, melakukan toleransi, dan memulihkan diri.

2. Mengoptimisasi file dengan ukuran besar dan tidak perlu optimasi untuk file berukuran kecil.

3. Ada dua jenis pembacaan: large stream dan random stream.

4. Penulisan data secara berurutan, atau random position dalam skala kecil.

5. Menggunakan semantic yang terdefinisi dengan baik untuk mendukung klien.

6. Mempertahankan bandwidth dibandingkan dengan latency.

GFS telah memenuhi kebutuhan yang diperlukan oleh Google terkait dengan penyimpanan data. Sebagai bukti, saat ini, GFS telah digunakan dikembangkan untuk digunakan di seluruh sistem Google untuk penyimpanan data dan juga memproses data yang digunakan oleh layanan Google. Selain itu, Google juga menggunakannya sebagai usaha riset dan pengembangan untuk himpunan data dalam skala besar. Untuk memenuhi kebutuhan tersebut, berikut beberapa hal untuk GFS:

1. Mendukung operasi file umum seperti open, close, create, delete, read, dan write, serta dua operasi khusus bernama snapshot, dan record append.

2. Menggunakan 1 master dan banyak chunkserver.

3. Metadata terdiri atas: In-memory data structure, lokasi chunk, dan log operasi.

4. Mendukung berbagai bentuk fault tolerance dan diagnosis. Beberapa yang notable adalah fault detection yang bagus dilengkapi dengan automatic recovery.

5. Memiliki kemampuan master yang kuat, termasuk garbage collection.

Sala satu klaster terbesar saat ini telah memberikan ratusan TB data di ribuan disket yang tersebar di ribuan mesin, dan digunakan secara konkuren (bersamaan) oleh ratusan klien.

Tentunya, GFS menggunakan berbagai rujukan dari model lain untuk file system seperti AFS, xFS, Swift, dan banyak lagi. Ini membuat GFS mempertimbangkan keunggulan dan kelemahan dari setiap file system dan menyesuaikan dengan keperluan Google sebagai perusahaan.