Ilmu data menjadi terkenal beberapa tahun yang lalu ketika sebuah surat kabar mendefinisikannya sebagai "pekerjaan terseksi di abad ke-21". Sundulan besar hanyalah awal dari efek bola salju. Saat ini, ilmu data adalah bidang yang menawarkan lebih dari 20 ribu pekerjaan, menurut Glassdoor . Namun, seringkali menjadi topik yang menimbulkan kebingungan dan banyak perdebatan. Dalam artikel ini, saya akan menjawab pertanyaan: “Apa itu ilmu data sebenarnya?”

Apa itu ilmu data?

Menurut Wikipedia, ilmu data adalah

“ bidang akademik interdisipliner yang menggunakan statistik , komputasi ilmiah , metode ilmiah , proses, algoritme , dan sistem untuk mengekstraksi atau mengekstrapolasi pengetahuan dan wawasan dari data yang berisik, terstruktur, dan tidak terstruktur . “ ( sumber )

Ketika Anda menganalisis ini lebih detail, ilmu data adalah kombinasi dari matematika dan statistik, ilmu komputer khusus dan bisnis. Ini menghubungkan ketiga topik ini dan membantu perusahaan mendapatkan wawasan yang bermakna dengan menggunakan data yang ada. Ilmu data menggabungkan prinsip dan praktik dari ketiga disiplin ini, untuk sering menganalisis data dalam jumlah yang sangat besar dan menjawab pertanyaan yang dimulai dengan "apa", "bagaimana", "mengapa", dan "apa yang dapat dilakukan". Beberapa contoh pertanyaan yang dibantu oleh ilmuwan data untuk menemukan jawabannya adalah:

• Mengapa tingkat emisi dari kota meningkat?
• Operasi mana yang berkontribusi paling besar terhadap pembelanjaan perusahaan?
• Berapa lama proses perekrutan kami berlangsung dan jendela apa yang dapat diperbaiki?

Ilmu data penting karena membantu perusahaan membuat keputusan berdasarkan informasi dan menjauh dari pengambilan keputusan berdasarkan firasat. Ini menggabungkan alat, metode, dan teknologi untuk memberi makna pada data yang dikumpulkan dan mengatasi tantangan yang dimiliki berbagai industri.

Sebagai disiplin ilmu, ilmu data penting untuk industri apa pun, mulai dari telekomunikasi hingga ritel, dari sektor publik hingga layanan keuangan. Satu-satunya syarat bahwa organisasi mana pun harus mendapatkan manfaat dari ilmu data adalah mengumpulkan data yang dapat digunakan untuk mendorong perubahan informasi.

Mitos tentang ilmu data

Seperti halnya topik baru lainnya, ilmu data mendapat banyak perhatian. Pada saat yang sama, dalam 15 tahun terakhir, hal itu menimbulkan banyak perdebatan dan tetap menjadi topik yang membingungkan bagi banyak profesional yang tidak terlibat langsung dalam topik tersebut.

Ilmu data bukanlah statistik

Ada tumpang tindih antara kedua disiplin ilmu tersebut, tetapi keduanya jauh dari sama. Banyak definisi dari statistik juga berlaku untuk ilmu data, tetapi ketika melihat lebih dekat, ada sejumlah faktor kunci yang membedakan ilmu data dari statistik.

Statistika adalah disiplin yang digunakan untuk menggambarkan data. Ini adalah cabang matematika yang memainkan peran penting dalam mengidentifikasi pola dalam data. Ilmu data, di sisi lain, menggunakan analisis statistik, dengan tujuan menemukan kecerdasan yang dapat ditindaklanjuti. Sifatnya sangat prediktif, lebih jauh dari tujuan utama statistik, yaitu untuk menjelaskan . Ilmu data menjawab pertanyaan seperti "Sumber daya apa yang paling dibutuhkan dalam waktu dekat?" atau "Negara apa yang akan mendapat manfaat dari pertumbuhan populasi?".

Tujuan dari kedua disiplin ilmu ini berbeda. Ilmu data berupaya mengidentifikasi tren dan pola dalam data untuk pengambilan keputusan dan statistik berfokus pada penentuan hubungan sebab-akibat dalam data yang dianalisis. Data adalah jantung dari kedua aktivitas tersebut, tetapi ilmu data dapat menangani volume dan jenis data apa pun, statistik terbatas pada sampel yang lebih kecil.

Data karena bukan AI

Karena tumpang tindih antara kedua topik tersebut, n ilmu data dianggap sebagai cabang kecerdasan buatan. Kembali ke tujuan utama ilmu data, yaitu untuk mengidentifikasi tren dan pola dalam data untuk mendukung pengambilan keputusan, kecerdasan buatan (AI) menyediakan perangkat lunak yang dapat menalar input dan menjelaskan output. Keduanya cukup canggih untuk bekerja pada semua jenis data, tetapi langkah-langkah kuncinya sedikit berbeda. Lebih tepatnya, AI menyertakan algoritme untuk pengembangan dan desain, sedangkan ilmu data lebih peduli tentang penambangan data, pra-pemrosesan, data eksplorasi, atau pembuatan model.

Ilmu data adalah tentang membangun model

Faktanya, 80% waktu ilmuwan data dihabiskan untuk tugas-tugas yang menyiapkan landasan untuk membangun model. Mereka harus membersihkan, menyiapkan, mengumpulkan, dan memeriksa validitas data sebelum melakukan tugas apa pun. Dengan demikian, aktivitas ilmu data tidak hanya mencakup membangun model tetapi juga mempersiapkan seluruh alur kerja ilmu data.

Juga, kembali ke tujuan utama ilmu data, sebagai disiplin interdisipliner, untuk mengubah data menjadi wawasan yang bermakna, tujuan utama ilmu data tidak hanya untuk mengidentifikasi pola dengan menggunakan pembelajaran mesin tetapi juga untuk menyampaikannya dengan cara yang mudah dipahami. cara mencerna kepada pemangku kepentingan utama.

Apa yang dilakukan ilmuwan data?

Ilmu data adalah disiplin yang dapat dengan mudah datang dengan serangkaian tanggung jawab yang sangat berbeda tergantung pada perusahaan, kematangan proyek data mereka, dan volume data yang dikumpulkan. Namun, ilmuwan data adalah profesional yang terlibat dengan berbagai tim untuk mengidentifikasi peluang. Mereka memiliki kompetensi teknis yang baik, seringkali memiliki latar belakang statistik, ilmu komputer atau matematika.

Tanggung jawab ilmuwan data difokuskan pada:

• Interaksi dengan berbagai tim dan pemangku kepentingan untuk mengidentifikasi proyek dan kebutuhan yang mendorong nilai bisnis dengan mengubah data menjadi wawasan.
• Menganalisis data untuk mendorong optimalisasi dan peningkatan dalam perusahaan di berbagai tingkatan: produk, operasi, dan keuangan.
• Menilai kualitas dan efektivitas sumber data yang ada dan teknik yang digunakan dalam proses pengumpulan.
• Berkoordinasi dengan berbagai departemen untuk mengimplementasikan proyek ilmu data dan meluncurkannya dalam skala besar.
• Identifikasi, gunakan, dan kembangkan proses dan alat yang memungkinkan pengiriman proyek lebih cepat.

Kembali ke job overview dari Glassdoor , kualifikasi utama yang dimiliki data scientist cukup luas dan mengganggu berbagai sektor:

• Keterampilan pengkodean : bahasa yang disukai adalah Python atau R.
• Keterampilan pemecahan masalah: untuk menyampaikan data menjadi wawasan yang bermakna dan juga memecahkan tantangan terkait proses pengumpulan data.
• Teknik pembelajaran mesin: untuk membangun model dengan mudah (misalnya: pengelompokan, pembelajaran pohon keputusan, jaringan saraf, dll).
• Kolaborasi lintas tim dan keterampilan komunikasi yang baik
• Mendorong untuk mempelajari teknologi baru: karena ini bukan sesuatu yang telah ada sejak lama, lanskap perkakas, teknologi, dan metodologi berkembang dengan cepat, mengharuskan para profesional untuk beradaptasi dengan cepat.
• Visualisasi data: untuk menceritakan sebuah cerita dengan mudah menggunakan data.

• Pengumpulan dan penyimpanan data
• Preprocessing data dan organisasi,
• Eksperimen & pengujian A/B
• Membangun, mengevaluasi & menerapkan model ML
• Visualisasi data & dasbor KPI
• Performa pemantauan model.

Alat ilmu data

Seperti disebutkan di atas, ilmuwan data sangat bergantung pada bahasa pemrograman khusus seperti Python atau R. Ini adalah perangkat lunak sumber terbuka yang memiliki banyak pemodelan statistik pra-bangun, pembelajaran mesin, dan kemampuan grafis.

Python telah menjadi juara selama beberapa tahun terakhir, terutama karena beragam perpustakaan yang ditawarkannya. NumPy, Pandas, Matplotlib, atau scikit-learn hanyalah beberapa contoh yang memungkinkan ilmuwan data melakukan pekerjaannya lebih cepat.

Karena ini bukan hanya disiplin interdisipliner, tetapi juga yang memungkinkan kerja tim, ilmu data sering menggunakan berbagai alat seperti Notebook Jupyter untuk memfasilitasi berbagi kode, dan mengatur alur kerja dan informasi lainnya. Dalam hal tugas yang lebih lanjut, seperti otomatisasi alur kerja, perkakas open source seperti Charmed Kubeflow memastikan perjalanan yang lancar.

Selain itu, ilmuwan data berusaha mendapatkan pengalaman dalam menggunakan platform data seperti basis data Spark atau NoSQL, seperti MongoDB. Lanskap terus berkembang dan alat-alat baru muncul di pasar setiap hari. Ada tren besar di dunia ini bahwa semakin banyak alat yang open source, sehingga setiap profesional yang penasaran, dapat dengan mudah dan bebas mencobanya.

Masa depan ilmu data

Apakah pekerjaan terseksi abad ini akan tetap ada? Ini adalah salah satu pertanyaan yang beredar dan pendapatnya sangat berbeda. Jika kita hanya melihat tren Google untuk dua istilah kunci, "ilmu data" dan "pembelajaran mesin" , jawaban singkatnya mungkin bahwa ilmu data akan bertahan lama.

Itu mungkin sesuatu yang benar, tetapi cara ilmu data didefinisikan hari ini akan berubah tanpa keraguan. Dengan semakin banyaknya perusahaan yang mencoba mengumpulkan lebih banyak data dan melakukannya dengan lebih efisien, ilmuwan data harus menjauh dari beban untuk menghabiskan banyak waktu pada tugas-tugas yang hanya mempersiapkan lapangan.

Dalam jangka panjang, ilmu data, sebagai sebuah disiplin ilmu, akan berkembang dan mengalami perpecahan. Di satu sisi, akan ada lebih banyak ilmuwan data yang menjadi spesialis di sisi teknis, dengan fokus pada pembelajaran mesin dan mencurahkan lebih banyak waktu dan tenaga untuk rekayasa. Di satu sisi, akan ada sekelompok profesional yang akan fokus pada bidang tertentu dan menjadi ahli materi pelajaran. Mereka akan memiliki pemahaman yang baik tentang data dan nilai yang dimiliki ilmu data dan akan dengan mudah memahami poin kesulitan dan memahami wawasan yang diberikan oleh pakar pembelajaran mesin.

Ilmu data, tanpa diragukan lagi, adalah topik yang akan dibicarakan dan didengar industri selama beberapa waktu. Bagaimana itu akan berkembang tidak begitu jelas, tetapi kemungkinan kita akan melihat proses yang lebih baik, kolaborasi yang lebih baik, dan pengembangan teknologi baru yang lebih cepat. Komputasi kuantum dan model multi-modal akan menjadi topik hangat yang akan ditulis oleh pers di tahun-tahun mendatang. Ilmu data di tepi dan pemrosesan waktu nyata adalah dua kemajuan relevan yang kemungkinan akan berjuang untuk mendapatkan adopsi luas di awal. Pergeseran keterampilan akan menghasilkan kematangan disiplin, yang juga dilengkapi dengan proses yang lebih baik, perkakas, dan alur kerja yang lebih aman.