Table of Contents
Pengertian Big Data Arsitektur
Arsitektur Big data adalah struktur keseluruhan yang merepresentasikan dari logical dan physical sistem dari big data.
artikel ini merupakan bagian dari pembahasan big data secara lengkap di artikel ini Ingin lebih mengenal big data secara lebih lengkap? silahkan membaca artikel ini : big data indonesia
Manfaat / benefit big data architecture
Untuk mendapatkan manfaat dari big data, sangat krusial untuk menginvestasi pada infrastruktur big data yang mampu menangani data yang besar dan banyak. Perusahaan dapat dapat berinvestasi pada solusi infrastruktur dan platform big data Bigbox untuk mendapatkan manfaat big data atau benefit big data seperti
1. Meningkatkan kualitas pemahaman dan analisis dari big data
2. Membuat keputusan yang lebih baik dan juga lebih cepat
3. Mengurangi biaya operasional perusahaan dengan menganalisis big data perusahaan untuk menemukan apa saja yang dapat diperbaiki dan dihemat
4. Memprediksi kebutuhan dan trend pada masa yang akan datang
5. Mendorong perusahaan untuk dapat membuat standar dalam perusahaan
6. Dapat menyediakan metode yang konsisten untuk menerapkan teknologi terbaik untuk menyelesaikan masalah
Tantangan dalam arsitektur big data / Big Data Architecture Challenges
Dalam membuat big data arsitektur tentu pasti akan menghadapi berbagai tantangan yaitu :
1. Memastikan arsitektur dapat memenuhi kebutuhan perusahaan
2. Memprediksi kebutuhan big data walaupun bertumbuh besar dan bertambah kompleks, arsitektur big data masih dapat menanganinya atau big data arsitektur ini dapat dengan mudah di upgrade / scalable
Jika saat merancang arsitektur big data / big data architecture ini tidak bagus maka dapat menimbulkan biaya yang cukup besar, performa yang tidak stabil atau tidak mencukupi kebutuhan untuk mempelajari lebih lanjut dapat membaca artikel : Permasalahan, Tantangan dan Solusi Big Data.
Big Data Architecture Layers
Lapisan pada arsitektur big data / big data architecture layers ini terdiri dari beberapa lapisan
1. Big Data Source layers / lapisan big data
Big data dapat memproses baik batch processing ataupun real time processing dari sumber-sumber big data seperti data warehouse, relational database, non relasional database, Iot Devices dan dari berbagai sumber lainnya
2. Management & Storage layers / lapisan manajemen dan penyimpanan big data
Lapisan ini menerima data dari big data source layers dan mengkonversi data tersebut menjadi format yang dapat dimengerti dan diolah oleh data analytic tools / alat data analytic dan disimpan sesuai dengan format datanya.
3. Analysis layer / lapisan analisis
Pada analysis layer, analytic tools melakukan ekstraksi data dari big data storage layer
4. Consumption layer
Consumption layer menerima hasil analisa dari Big Data Analysis layer dan memberikan analisis tersebut ke business intelligence layer
Big Data Architecture Processes
1. Menyambungkan koneksi ke Data Sources
“Connectors” dan “adapters” ini adalah sebuat platform, software atau fitur yang sanggup melakukan koneksi ke berbagai format data apapun dan dapat juga melakukan koneksi ke berbagai variasi storage system, proctol dan juga network. Fitur ini sangat dibutuhkan saat implementasi big data untuk mempermudah pengambilan dan meng load data. Pada platform big data yang tidak memiliki solusi end to end biasanya pekerjaan ini dikerjakan oleh para data engineer.
2. Data governance
Proses Big Data governance ini bertugas untuk memastikan data yang dipergunakan telah memenuhi data privasi dan keamanan dimulai dari saat pemprosesan, analisis, penyimpanan dan penghapusan data
3. Systems Management
Seluruh proses harus di monitoring secara terus menerus melalui central management consoles
4. Mempertahankan Quality of service
Big data harus dipertahankan quality of servicesnya dengan cara membuat framework quality of service, dapat dimulai dengan mendefine data qualitynya, compliance policies serta frekuensi dan besarnya data yang akan diolah pada big data.
Bagaimana membangun big data architecture
Untuk membangun arsitektur big data diperlukan beberapa langkah prosedur yaitu :
1. Menganalisa masalah
Langkah pertama dalam membangun arsitektur big data tentu adalah menganalisa masalah terlebih dahulu ataupun mencari apa masalah ataupun tujuan yang ingin dicapai oleh perusahaan? Hal hal yang biasanya perlu dipertimbangkan yaitu seperti variasi data, kecepatan mengolah data serta masalah yang dihadapi sistem / platform pada saat ini
Use case yang umum yang terjadi pada perusahaan diantaranya
-
-
- Melakukan data archival
- Offload processing
- Implementasi data lake
- Pemprosesan data unstructured
- Modernisasi data warehouse saat ini
-
2. Memilih Vendor
Saat ini banyak sekali di pasaran solusi big data, seperti microsoft, aws, hortonworks dan bigbox, pilih yang sekiranya yang dapat mengatasi permasalahan big data perusahaan.
3. Strategi Deployment
Deployment bisa dilakukan secara on premises, cloud based ataupun mixed, disarankan memilih solusi server yang ada di Indonesia untuk mematuhi data governance Indonesia, anda dapat melihat NeuCentrix solusi cloud yang lokasinya tersebar di indonesia.
4. Capacity Planning
Dalam membangun big data arsitektur tentu perlu mempertimbangkan perencanaan kapasitas bigd data yang akan dibangun, tentukan hardware, infrastructure sizing, jumlah daily data yang akan di proses, jumlah data dengan melihat historical data load pada bulan ataupun tahan sebelumnya, data retention period / jadwal penyimpanan data, multiple data deployment dan sebagainya
5. Infrastructure sizing
Tahap infrastructure sizing ini dilakukan berdasarkan capacity planning, menentukan jumlah cluster dan tipe hardware yang diperlukan, pertimbangkan juga tipe disk, jumlah disk per mesin, tipe processing memory, besaran memori, jumlah CPU dan corenya dan dimana data akan disimpan
6. Pembuatan Rancangan Disaster Recovery
Dalam membuat big data tentu perlu melakukan perencanaan backup dan disaster recovery, pertimbangan dimana data yang sangat penting akan disimpan, backup inverval, multiple datacenter deployment dan memilih metode active-active atau active-passive disaster recovery yang paling tepat untuk perusahaan.
Mencari Solusi big data architecure?
Bigbox menyediakan solusi big data end to end untuk perusahaan anda, lakukan konsultasi dengan kami untuk mengimplementasi big data di perusahaan anda dengan lebih optimal hubungi kami di live chat atau contact us bigbox.
