Big Data : Panduan lengkap, Pengertian, manfaat, platform

Pengertian Big Data

Big data adalah sekumpulan data digital yang terdiri dari data terstruktur, semi terstruktur dan tidak terstruktur dalam jumlah yang sangat besar yang dihasilkan dan dikumpulkan oleh organisasi yang bertujuan untuk diolah dan dianalisis sehingga menghasilkan informasi yang berharga yang dipergunakan dalam pengambilan keputusan dan masih ada beberapa pengertian big data menurut para ahli lainnya

Pengertian Big data analytics

Big data analytics merupakan 2 gabungan kata yaitu big data dan analytics, arti kata big data sudah dibahas pada sebelumnya dan analytics adalah proses dari menemukan, mengkomunikasikan, menginterpretasi dan mencari pola pada data dengan menggunakan metode komputasi / perhitungan yang sistematis. maka dari itu big data analitik adalah kegiatan dari menemukan pola yang tersembunyi, korelasi pada kumpulan data yang memiliki tipe data dan sumber data yang bervariasi serta memiliki ukuran yang sangat besar dari ukuran terabytes sampai zettabytes.  

Karakteristik Big Data 5v

Big data pada awalnya hanya mempunyai 3 karakteristik pada big data 3v, namun kemudian berkembang menjadi big data 4v dan yang terbaru menjadi big data 5v, berikut karakteristik dan perkembangannya secara urut

Big Data 3V

1. Volume

2. Variety

3. Velocity

Big Data 4V

      4. Veracity

Big Data 5v

      5. Value

Untuk lebih detailnya bisa dapat dibaca di karakteristik big data Big Data 3V, Big Data 4v dan Big Data 5v

Sejarah Big Data

Pada tahun 2005 “teknologi big data” telah dipergunakan namun belum ada penamaan untuk teknologi tersebut akhirnya teknologi tersebut diberikan nama oleh Roger Mougalas bernama “big data”, big data yang dia maksudkan adalah kumpulan dari big data yang berukuran besar yang pada saat itu hampir tidak mungkin dikelola dan diproses oleh traditional business intelligence tools pada saat itu, pada tahun yang sama big data platform Hadoop yang dapat menangani Big Data diluncurkan, hadoop dibuat berdasarkan open source software framework yang dinamakan Nutch dan di gabungkan dengan Google’s MapReduce 

Sebenarnya sejarah big data cukup panjang, untuk dapat membaca versi lengkap dari sejarah big data anda dapat membacanya  disini : Sejarah big data 

Pemanfaatan Big Data dan Use Case Big Data

Mengapa big data sangat penting, hal itu karena Big data banyak memiliki manfaat, beberapa manfaat yang akan perusahaan dapatkan ketika memanfaatkan big data diantaranya

Manfaat big data :

1. Optimalisasi biaya perusahaan

2. Meningkatkan efektifitas dan efisiensi bisnis

3. Product development

4. Mendapatkan insight mengenai pelanggan dan pasar

Sektor sektor yang dapat menerapkan big data :

1. Healthcare / Kesehatan

2. Perbankan

3. Ritel / Retail

4. Media dan Hiburan

5. Agriculture / agrikultur

6. Manufaktur

7. Minyak dan Gas

8. Telekomunikasi 

9. Pendidikan

10. Sains

11. Pemerintah

12. Teknologi

13. Asuransi 

14. Cybersecurity

Dan masih banyak lagi,  Untuk lebih detail dalam membaca solusi big data kamu bisa merujuk pada artikel ini  :  Solusi big data : pemanfaatan, use case big data bigbox

Perusahaan big data, big data platform dan big data platform analytics

Untuk mengatasi permasalahan pada big data, banyak perusahaan yang mulai membangun big data platforms dan juga big data platforms analytics diantaranya

Perusahaan big data di Indonesia dan di dunia :

1. Hadoop

2. MapR.

3. Bigbox

4. Microsoft Azure.

5. Cloudera.

6. Sisense.

7. Collibra.

8. Tableau.

9. Sparks

10. Qualtrics.

11. Oracle.

Untuk lebih detailnya anda dapat membaca kupas tuntas perusahaan serta big data software nya

Bagaimana big data bekerja

Sebenernya proses bagaimana big data bekerja cukup panjang, namun ada 3 proses utama yang paling penting

1. Integrasi data

Big data dikumpulkan dari berbagai sumber, bisa dari data transaksi, data pelanggan, foto-foto produk di ecommerce, video-video di social media data lainnya. Data-data tersebut sangatlah banyak baik dari jumlah, jenis serta sumber datanya maka dari itu perlu diintegrasikan kepada sistem big data sehingga dapat diolah dengan baik.

2. Management data

Setelah data tersebut dikumpulkan, tentu kita perlu mengelola data-data tersebut, seperti dimana kita akan mengorganisir dan menyimpan data tersebut, untuk menyimpan data kita dapat menyimpan data tersebut baik di server on premise, cloud ataupun hybrid / metode gabungan antara on premise dan juga cloud storage.

3. Analysis

Setelah data telah telah terkumpul dan terkelola dengan baik, selanjutnya perlu, melakukan eksplorasi data, mencari pola, mengelompokkan data-data sesuai dengan polanya dan melakukan analisa pada data-data tersebut sehingga mendapat informasi yang kita butuhkan.

Untuk lebih detail mengenai bagaimana big data bekerja anda dapat membaca  Bagaimana Big data Bekerja

Arsitektur Big data

Arsitektur Big data adalah struktur keseluruhan yang merepresentasikan dari logical dan physical sistem dari big data,

Untuk lebih tahu lebih dalam terkait arsitektur big data, silahkan mengunjungi artikel ini arsitektur big data 

Bagaimana cara membangun big data

langkah langkah dalam membangun atau mengimplementasi big data :

1. Menganalisa masalah

2. Memilih Vendor

3. Strategi Deployment

4. Capacity Planning

5. Infrastructure sizing

6. Pembuatan Rancangan Disaster Recovery

Untuk lebih detailnya silahkan klik artikel berikut : membangun / mengimplementasi big data 

Big Data Best Practices and Tips & Trick

1. Mendefinisikan big data business goals dengan matang

2. Melakukan asesmen dan membuat strategi dengan partner ataupun vendor yang dapat dipercaya

3. Tentukan data apa saja yang sudah perusahaan miliki dan juga kemungkinan di masa depan sehingga dapat dengan mudah di scalling

4. Terus menerus berkomunikasi dengan semua stakeholder dan tim IT ataupun bisnis, pastikan scope tidak berubah-ubah dan sudah direncanakan dengan matang.

5. Mulai dengan perlahan-lahan dan hati-hati serta tidak terlalu ambisius, namun harus bereaksi cepat ketika ada perubahan terutama trend.

6. Mengevaluasi big data arsitektur dan hardware secara matang.

7. Membuat multi deployment dan sebaiknya melakukan hybrid untuk mencegah hal yang tidak diinginkan

8. Pelajari hukum terkait data di negara-negara bisnis perusahaan berjalan

9. Kelola tim big data anda, karena tim yang mengelola big data sangat krusial bagi perusahaan. 

Permasalahan dan Tantangan serta solusi big data

Dalam mengimplementasi big data, tentu perusahaan pasti akan menghadapi berbagai tantangan diantaranya :

1. Kurangnya pemahaman dan wawasan big data / lack of understanding and knowledge related to big data

2. Permasalahahan pertumbuhan data / Data growth issues

3. Sulitnya menjaga kualitas data / Dificulty in Managing & maintain data quality

4. Kurangnya pengalaman dalam mengalami data yang berjumlah banyak dan kompleks

5. mengalami permasalahan dalam mengambil dan mengintegrasi dari data sources

6. Permasalahan upscaling / Upscalling issues

7. Bingung dalam memilih teknologi dan platform big data

8. Permasalahan budget karena investasi big data memerlukan biaya yang cukup besar

9. Masalah keamanan data

Dari berbagai tantangan tersebut tentu ada solusi dalam menghadapi tantangan dan permasalahan big data tersebut, untuk lebih detail silahkan membaca artikel Permasalahan dan Tantangan serta solusi big data  

Pekerjaan terkait big data.

Jika tertarik terhadap teknologi big data dan ingin terjun langsung dalam big data berikut pekerjaan yang berkaitan dengan big data :

1. Data Analyst

2. Data Scientist.

3. Data Engineer

4. Programmer .

5. Big Data Engineer.

6. Machine Learning Scientist.

7. Business Analytics Specialist.

8. Data Visualization Developer.

9. Business Intelligence (BI) Engineer.

10. BI Solutions Architect.

11. Machine Learning Engineer

12. AI Engineer

13. Statistician

Ingin mengimplementasi big data atau ingin berkonsultasi mengenai big data untuk perusahaan anda? silahkan menghubungi kami via live chat atau channel lain di halaman contact us bigbox