Basis Data Teknologi Data Skala Besar
Tema : Sistem Pengolahan Data
Judul : Basis Data Teknologi Data Skala Besar
Kerangka Artikel
1. Pendahuluan
2. Apa yang dimaksud dengan Basis data Teknologi
3. DBMS ( DataBased Management System )
4. Karakteristik dan Ciri-ciri tentang RDBMS
5. Penjelasan jenis Solusi kontemporer untuk Manajemen skala besar.
PENDAHULUAN
Apa yang kita ketahui tentang Teknologi database yang digunakan saat ini untuk Data Skala Besar?
Luas berbagai layanan di seluruh dunia dapat diakses oleh pengguna di mana saja pada setiap titik waktu, sehingga mempercepat peningkatan jumlah data diproses dalam waktu yang sangat singkat. Misalnya, bus aplikasi finder rute untuk Smartphone kewalahan oleh data- lalu lintas sebagai jumlah pengguna Smartphone meningkat . Selain itu, Web berkembang pesat layanan teknologi menantang teori tradisional dan pendekatan ke database. Efisiensi dan fleksibilitas telah menjadi lebih penting daripada hasil proses individu antara transaksi dan catatan, karena hari-hari ini bukan hanya beberapa DB server yang mengakses storage SAN.
BASIS DATA TEKNOLOGI
Banyak yang berpendapat bahwa teori database tradisional dan RDBMS saat ini tidak sesuai untuk menangani data berskala besar ( lebih dikenal sebagai data yang besar ). Michael Stonebraker, seorang guru database, menunjukkan fakta-fakta tersebut dalam The End of Era Arsitektur , sebuah makalah yang ditulisnya untuk The Journal VLDM pada tahun 2007. Dalam tulisan ini, ia mengklaim bahwa teknologi DBMS relasional, yang mulai berkembang di akhir 70-an dan mencapai puncaknya di akhir '80-an, adalah sebuah proyek untuk mengembangkan Sistem Manajemen Basis Data universal ( DBMS ) yang dapat digunakan dalam bidang apapun untuk setiap aplikasi, termasuk bidang Online Transaction Processing ( OLTP ), Pergudangan Database ( DW ), ilmu pengetahuan dan Web, tetapi mungkin saatnya untuk meninggalkan 25-tahun-lama ' satu ukuran cocok untuk semua 'pendekatan dan kode berdebu, dan datang dengan pendekatan baru yang diperlukan untuk menangani data berskala besar.
DBMS ( DataBased Management System )
Dalam 5 tahun terakhir DBMS khusus yang telah diperkenalkan, serta sistem database dengan skema penyimpanan baru. Ini dapat dikategorikan oleh jenis teknologi yang diterapkan. Dalam artikel ini kita akan menjelaskan empat jenis yang paling populer dari sistem database yang saat ini digunakan oleh perusahaan-perusahaan ternama seperti Yahoo, Facebook, Google, Misrosoft, Amazon, dll
Massively Parallel Processing ( MPP ) atau paralel DBMS - Sebuah sistem yang parallelizes eksekusi query dari DBMS, dan membagi query dan mengalokasikan mereka untuk node DBMS beberapa untuk memproses data dalam jumlah besar secara bersamaan.
Kolom database berorientasi - Sebuah sistem yang menyimpan nilai-nilai di bidang yang sama sebagai kolom, yang bertentangan dengan konvensional ow metode yang menyimpannya sebagai catatan individu.
Streaming pengolahan ( ESP/CEP ) - Sebuah sistem yang memproses data konstan ( atau peristiwa ) aliran, atau konsep di mana isi dari database terus berubah dari waktu ke waktu.
Kunci-nilai penyimpanan ( dengan model pemrograman MapReduce ) - Sebuah sistem penyimpanan yang berfokus pada peningkatan kinerja ketika membaca satu catatan data dengan mengadopsi model kunci-nilai data, yang sederhana daripada model data relasional.
KAKARAKTERISTIK DAN CIRI-CIRI DBMS
RDBMS dicirikan sebagai :
* Memiliki model data relasional - Semua data ditampilkan dalam tabel, dan korelasinya dapat dinyatakan.
* Menggunakan SQL - Memiliki teknologi maju dalam mengoptimalkan query, karena merupakan bahasa deklaratif.
* Disk penyimpanan berbasis - Rekaman disimpan dalam blok disk berturut-turut. Mengimplementasikan B-pohon, metode pengindeksan berbasis disk.
* Concurrency control dan pemulihan log-based - Pastikan integritas sementara memungkinkan akses ganda untuk satu bagian dari data secara bersamaan, dengan cara kunci atau multi-versi.
DBMSs universal yang mengejar ' satu ukuran cocok untuk semua 'pendekatan sementara memuaskan semua karakteristik yang dijelaskan di atas agak kurang bila dibandingkan dengan sistem yang mengkhususkan diri dalam bidang tertentu, seperti pengolahan teks atau Pergudangan Database.
Ketika mereka dioperasikan oleh analisis log Web dan bis yang menangani sejumlah besar data, atau melalui IDCs di seluruh dunia, RDBMS komersial saja - pahlawan teknologi database konvensional - tidak dapat memenuhi permintaan layanan Web yang besar di mana data kecepatan respon penting. Teknologi database baru sedang diteliti untuk menemukan cara untuk menganalisis log, sebesar beberapa ratus gigabyte setiap hari, atau untuk memungkinkan pengguna di Inggris untuk mengakses blog ( melalui server Web ) yang telah disimpan ( dalam server DB ) oleh pengguna di AS secara real time.
Ketika mereka dioperasikan oleh analisis log Web dan bis yang menangani sejumlah besar data, atau melalui IDCs di seluruh dunia, RDBMS komersial saja - pahlawan teknologi database konvensional - tidak dapat memenuhi permintaan layanan Web yang besar di mana data kecepatan respon penting. Teknologi database baru sedang diteliti untuk menemukan cara untuk menganalisis log, sebesar beberapa ratus gigabyte setiap hari, atau untuk memungkinkan pengguna di Inggris untuk mengakses blog ( melalui server Web ) yang telah disimpan ( dalam server DB ) oleh pengguna di AS secara real time.
SOLUSI UNTUK MANAJEMEN SKALA BESAR
Di bawah ini kami menjelaskan jenis solusi kontemporer untuk manajemen data skala besar.
Besar Paralel Pengolahan / Paralel DBMS
Sebagai sistem manajemen database menggunakan CPU tunggal, mereka memiliki kekuatan pemrosesan yang tidak memadai untuk menangani data dalam terabyte pada 10.000 TPS. Untuk alasan ini, banyak teknologi telah diperkenalkan untuk menerapkan ' pemrosesan query paralel 'pada perangkat keras SMP sejak '80-an.
Sebagai contoh, jenis dan fungsi hash bergabung sering parallelized karena mereka adalah beberapa yang paling memakan waktu operasi DB .
Teknik lain yang penting dalam pengolahan paralel adalah pipelining, yang parallelizes setiap langkah dari serangkaian query SQL yang panjang dan kompleks. Paralelisasi secara luas digunakan dalam analisis data seperti BI. Seperti paralel teknologi DBMS telah melampaui hardware single-node SMP dan sedang maju ke sistem database paralel besar-besaran, yang didasarkan pada cluster di ' bersama-ada struktur '.
Link Referensi
http://www.cubrid.org/blog/dev-platform/database-technology-for-large-scale-data/
Link Referensi
http://www.cubrid.org/blog/dev-platform/database-technology-for-large-scale-data/