Tantangan Big data dalam implementasi di perusahaan

Tantangan big data –  Dalam mengimplementasi big data pasti ditemui oleh setiap perusahaan, namun untuk mengurangi atau bahkan mengantisipasi masalah tersebut sebaiknya kita perlu mempelajari big data secara menyeluruh, seperti sebelum berperang sebaiknya jenderal perlu mempelajari musuhnya terlebih dahulu, semakin dalam mengenal musuh semakin besar juga kemungkinan untuk menang begitu juga dengan para IT Strategis / Decision maker dalam perusahaan, mereka perlu mengetahui secara mendalam mengenai big data jika tidak sebaiknya perlu memilih partner untuk membantu dan membimbing dalam pengimplementasian big data  salah satunya Bigbox solusi big data end to end.

Tantangan dan masalah saat mengimplementasi big data yaitu :

1. Permasalahan kurangnya pemahaman dan wawasan big data

2. Kurangnya pengalaman dalam mengalami data yang berjumlah banyak dan kompleks

3. Bingung dalam memilih teknologi dan platform big data

Pada 3 permasalahan ini biasanya perusahaan mengimplementasi big data untuk mengejar trend, mengikuti pesaing ataupun hal hal lain, namun karena minimnya pengetahuan big data, seperti infrastruktur apa saja yang diperlukan, pengetahuan mendesain arsitektur yang sesuai dan optimal untuk kondisi perusahaan, budget yang tidak terencana, man power, pengalaman serta pengetahuan lainnya. Tanpa pengetahuan dan pemahaman big data yang cukup implementasi big data beresiko tinggi untuk gagal dan tentunya membuang banyak uang, waktu dan tenaga untuk hal ini.

Solusi kurangnya pemahaman & pengalaman big data :

• • • Melakukan Big Data Workshops dan seminar bersama partner solusi big data untuk semua stakeholder serta seluruh pegawai yang terlibat, semua level perlu mengetahui hal ini agar koordinasi dan implementasi big data dapat berjalan dengan lancar tanpa adanya miskomunikasi dari setiap level. Dengan partner perusahaan big data yang memiliki skill dan pengalaman. Perancangan arsitektur, pemilihan hardware serta budgeting menjadi sangat optimal tanpa adanya resources yang terbuang percuma . 

4. Permasalahan budget karena investasi big data memerlukan biaya yang cukup besar

Solusi terbatasnya budget :

• • • Melakukan investasi big data dengan perancangan arsitektur yang scalable dan implementasi big data secara bertahap

5. Permasalahan : upscaling & pertumbuhan data / Upscaling & data growth issues

Semakin berkembangnya bisnis perusahaan semakin banyak juga data yang dihasilkan oleh perusahaan, dengan terbatasnya kapasitas penyimpanan, bertambahnya variasi data dan jumlah, dengan seiring waktu semakin sulit dalam menangani masalah ini, lambatnya penanganan atau salah dalam menangani masalah ini dapat berakibat fatal.

Solusi upscaling data:

• • • Perusahaan dalam menangani data yang cukup besar biasanya melakukan compression, tiering dan deduplication data, compression dapat mengurangi file size, tiering dapat mempermudah perusahaan untuk memanage data dengan mengkategorikan data berdasarkan tiering serta menyimpannya berdasarkan data storage tieringnya, tempat penyimpanan berdasarkan tieringnya dapat berupa public cloud, private cloud, flash storage bergantung pada ukuran dan penting tidaknya data tersebut. Namun yang paling penting adalah desain arsitektur big data di awal saat perancangan, apakah saat merancang sudah dipikirkan dan disolusi kan masalah ini.   

6. Mengalami permasalahan dalam mengambil dan mengintegrasi dari data sources

Pada permasalahan ini Cepat atau lambat semakin berkembangnya bisnis tentu akan menghadapi kualitas data dan permasalahan integrasi data source contohnya yang pada awalnya perusahaan retail dan brand produk retail yang pada awalnya hanya menganalisa pada log pada platform e-commerce yang mereka gunakan, juga harus melakukan integrasi dan menganalisa data dengan platform 3rd party untuk call center, social media bahkan melakukan scanning berbagai e-commerce yang digunakan pesaing yang tentu platform-platform ini memiliki struktur dan jenis yang berbeda beda dan tentu memiliki jumlah data yang banyak dan besar.

Solusi permasalahan dalam mengambil dan mengintegrasi dari data sources : 

1. 1. 1. Menggunakan tools integration software yang dapat mengakomodir integrasi  call center, social media serta platform lain untuk mempermudah mengintegrasi data.

      2. Meminimalisir raw data sosial media dengan menggunakan analytic yang sudah tersedia, misalkan Social media Analytic Big Social software analytic yang fokus pada social media dengan spesialisasi target audience berupa masyarakat Indonesia, tentu tools analytic ini berbeda dengan tools analytic lain yang fokus audience nya lebih banyak audience negara amerika ataupun negara-negara eropa, audience negara Indonesia tentu memiliki kepribadian, budaya serta berbagai faktor lain yang sangat berbeda dengan negara negara eropa dan juga amerika.

      3. Meminimalisir raw data e-commerce dengan menggunakan marketplace atau e-commerce analytic tools salah satunya Big Market, Bayangkan semisal sebuah brand consumer goods yang menjual berbagai jenis produk kebutuhan sehari hari dari odol, sabun, shampo, makanan, minuman, kosmetik dan sebagainya harus melakukan scanning terhadap pesaing yang menjual barang yang sama, dengan jenis produk dan jumlah brand pesaing yang cukup banyak ditambah jumlah e-commerce di Indonesia yang cukup banyak, tentu melakukan scanning, menyimpan data tersebut dan melakukan analisa sendiri tentu akan menjadi beban berat bagi brand yang memiliki infrastruktur, budget terbatas dan yang paling mengerikan adalah belum tentu berhasil dengan baik untuk menganalisa data-data ini. Berdasarkan kesulitan-kesulitan tentu lebih baik menggunakan tools e-commerce analytic yang sudah terkoneksi ke berbagai marketplace di indonesia i dan fokus terhadap pelanggan di Indonesia yang siap pakai yaitu tools Big Market.

 7. Sulitnya menjaga kualitas data / Difficulty in Managing & maintain data quality

Kita tahu bahwa Big data belum tentu memiliki akurasi 100%, karena data-data yang diambil belum tentu 100% benar, banyak duplikasi dan juga salah berkontradiksi apalagi yang memiliki data dalam jumlah besar, semisal data customer, data ini tidak real-time, dalam hitungan hari atau minggu pasti ada perubahan data, baik ada yang mengganti nomor handphonenya, pindah alamat email ataupun rumah dan sebagainya belum termasuk data tersebut tersebar di berbagai divisi ataupun cabang yang masing-masing cabang memilki acuan data ataupun database sendiri.

Solusi menjaga kualitas data :

1. 1. 1. Membuat big data model yang proper
      2. Melakukan cleansing data
      3. Mengumpulkan data pada single point of trut
      4. Match & merge data untuk menghindari data duplikasi
      5. Melakukan update data secara berkala

8. Masalah keamanan data dan privasi data

Masalah ini cukup kompleks dan di bahas secara lengkap di Keamanan Big Data / Big Data Security, biasanya keamanan big data ini di implementasi ketika big data sudah memasuki tahap mature atau sudah berukuran besar karena perusahaan sering kali sibuk dalam melakukan pemahaman data, menyimpan data, menganalisa serta menghadapi berbagai tantangan big data saat mengimplementasi ataupun mengembangkan big data, tentu hal ini bukanlah langkah yang baik karena keamanan data dan privasi data sangatlah krusial bagi reputasi sebuah brand yaitu :

1. 1. 1. kerugian dalam bentuk denda oleh pemerintah
      2. potensi keuntungan yang hilang jika data tersebut bocor ke masyarakat luas ataupun pesaing.
      3. repustasi brand tersebut hancur karena brand tersebut tidak dapat menjaga data pelanggan dengan baik.

maka dari itu sebaiknya

Solusi keamanan big data / big data security problem dapat diatasi dengan 

1. 1. 1. Data enkripsi
      2. Data segregation identity
      3. Access control
      4. Real time security monitoring”’

9. kurangnya tenaga profesional big data berupa data scientist, data engineer dan data analyst

Dengan pertumbuhan data secara massif, permintaan data scientis dan juga data analis untuk big data semakin tinggi namun jumlah tenaga kerja yang professional terbatas sehingga terjadinya kekurangan tenaga professional

Solusi kekurangan tenaga professional big data

1. 1. 1. melakukan upgrade terhadap engineer perusahaan yang ada dengan memberikan bootcamp atau pemberian beasiswa ataupun bisa
      2. menghire konsultan dan provider solusi big data seperti bigbox untuk menyelesaikan permasalahan big data di perusahaan.

10. Tidak ada KPI ataupun indikator lainnya dalam mengelola big data

Big data biasanya memilki pertumbuhan yang cukup signifikan yang sejalan dengan perkembangan bisnis perusahaan, namun KPI atau indikator dalam pengelolaan big data tidak berubah ataupun bahkan tidak ada, sehingga membuat pengelolaan atau pengembangan big data berjalan dengan lambat

solusi tidak ada KPI mengenai big data

1. 1. Tentukan KPI big data dengan melakukan banding kepada perusahaan sejenis ataupun market leader
   2. Menghire konsultan big data agar pengelolaan big data perusahaan tidak tertinggal dengan para kompetitor yang ada di market.

Berbagai tantangan big data dapat diatasi namun yang paling efektif untuk menghadapi tantangan big data adalah pada awal saat membuat arsitektur big data sudah diperhitungkan masalah-masalah ini, bisa juga mengrekrut cybersecurity dan tim data professionals ataupun berpartner dengan perusahaan big data untuk menyelesaikan masalah ini.