Di Oda, kepemilikan data terdistribusi, tata kelola data bersama adalah salah satu dari enam prinsip cara kami menciptakan nilai dari data . Prinsip ini telah menjadi kunci keberhasilan kami dalam menskalakan Data & Wawasan dari tim satu pizza ke disiplin yang cukup besar, dan dalam mendorong batas dari apa yang mungkin terjadi saat data menghadapi masalah dunia nyata di ruang grosir online. Dalam postingan ini, kami menggali lebih dalam apa yang kami maksud dengan kepemilikan data terdistribusi, tata kelola data bersama, dan bagaimana kami menyelesaikannya dalam praktik.

Data adalah kemampuan, bukan fungsi

Sebagian besar Analis Data, Ilmuwan Data, dan beberapa Insinyur Data kamibekerja sebagai bagian dari tim produk lintas fungsi dengan Insinyur Perangkat Lunak, Manajer Produk, Desainer UX, dan pakar domain (seperti spesialis logistik, komersial, dan pertumbuhan) di berbagai bagian organisasi kami. Keterampilan data dan masalah domain bersama hanyalah langkah pertama — kami juga ingin memberdayakan tim kami untuk bergerak secara mandiri dan dengan kecepatan untuk menyelesaikan masalah yang ada, dan di sinilah kepemilikan terdistribusi memainkan peran penting. Terinspirasi oleh konsep jaring data, kami telah menempatkan sebagian besar tanggung jawab atas data pada tim produk berbeda yang mengambil kepemilikan penuh atas "semua data" dalam domain bisnis mereka. Tim tersebut didukung oleh tim platform pusat, yang menyediakan layanan platform dan pemberdayaan seperti infrastruktur, perkakas, pedoman, dan pelatihan yang dibutuhkan semua orang untuk bekerja secara efisien dengan data.

Dalam praktiknya, ini berarti bahwa setiap tim bertanggung jawab atas seluruh rantai nilai data di domainnya. Ini mencakup semuanya, mulai dari produksi dan penyerapan data, pipeline data dan produk, serta topik seperti literasi data dan cara kami mengambil tindakan terhadap wawasan. Di Oda, data adalah kemampuan, bukan fungsi. Kami tidak memiliki tim data pusat yang menyelesaikan “semua masalah data”. Ini terserah masing-masing dan setiap tim.

Di Oda, data adalah kemampuan, bukan fungsi. Kami tidak memiliki tim data pusat yang menyelesaikan “semua masalah data”. Ini terserah masing-masing dan setiap tim.

Tim produk adalah tim data baru

Di bagian berikutnya, kami akan menggunakan tim Pengiriman sebagai contoh cara kerja kepemilikan terdistribusi. Tim adalah bagian dari misi kami untuk memberikan pengalaman pengiriman paling bebas rasa khawatir di dunia, dan kami memiliki Analis Data yang bekerja bersama Insinyur Perangkat Lunak, Manajer Produk, Desainer, dan spesialis Distribusi untuk mewujudkannya. Tim bertanggung jawab atas hal-hal seperti manajemen kendaraan, staf rute, dan pengembalian dari pelanggan, dan mereka membangun serta mengoperasikan teknologi dan aplikasi yang mendukung proses ini.

Tanggung jawab untuk tim seperti Pengiriman dalam model kepemilikan terdistribusi dapat diringkas dalam enam poin:

• Menghasilkan dan mengekspos data dari aplikasi
• Jadikan data tersedia dengan mudah untuk diri mereka sendiri dan orang lain
• Membangun dan menjalankan jaringan pipa data
• Bangun dan kelola produk data
• Dorong pengembangan produk dengan data
• Aktifkan tim dan orang-orang yang mereka dukung

Menghasilkan dan mengekspos data dari aplikasi

Sumber data terpenting untuk tim Pengiriman adalah aplikasi yang mereka bangun dan jalankan. Contohnya adalah aplikasi seluler yang digunakan pengemudi saat melakukan pengiriman dan aplikasi yang digunakan kantor pengiriman untuk merencanakan, memantau, dan membantu pengemudi di rute. Dengan membangun dan menjalankan sumber data mereka sendiri, tim memiliki kendali penuh atas apa, bagaimana, dan kapan data dihasilkan. Analis Data akan bekerja sama dengan Insinyur Perangkat Lunak untuk memastikan bahwa data yang benar disimpan dalam format yang tepat di sistem sumber dan bahwa data peristiwa yang relevan dilacak di aplikasi. Ini adalah "pergeseran ke kiri" pada data untuk tim produk: Data adalah bagian dari setiap langkah proses desain dan pembangunan, bukan sekadar renungan. Masalah kualitas data dihentikan sejak awal alih-alih menumpuk di bagian bawah backlog.

Ini adalah "pergeseran ke kiri" pada data untuk tim produk: Data adalah bagian dari setiap langkah proses desain dan pembangunan, bukan sekadar renungan. Masalah kualitas data dihentikan sejak awal alih-alih menumpuk di bagian bawah backlog.

Jadikan data tersedia dengan mudah untuk diri mereka sendiri dan orang lain

Setiap tim juga bertanggung jawab untuk membuat data mereka tersedia dan dapat dioperasikan untuk digunakan oleh tim lain. Ini tidak akan mungkin terjadi tanpa tim platform yang mendukung tim produk dengan infrastruktur, alat, dan panduan bersama. Di Oda, kami menggunakan Fivetran untuk penyerapan batch data transaksional dan Snowplow untuk data peristiwa dari web, aplikasi, dan sisi server, dan semua data disimpan di gudang data kami, Snowflake. Di Snowflake, data disediakan untuk tim lain untuk kueri dan dibuat, membuatnya dapat dioperasikan dengan data dari tim dan domain lain. Sebagai contoh, Analis Data dalam Pengiriman bertanggung jawab untuk menarik data yang dihasilkan dalam proses manajemen kendaraan dan menyiapkan snapshot reguler dari kumpulan data yang ingin kami simpan catatan sejarahnya.

Untuk memastikan data dapat dioperasikan di seluruh tumpukan wawasan kami, kami mengikuti panduan bersama tentang cara menetapkan nama dan struktur data. Dengan cara ini, kami memastikan bahwa data dari tim dan domain yang berbeda dapat digunakan bersama di lapisan logis yang berbeda di Snowflake dan di lapisan semantik (jelajahi) di Looker.

Membangun dan menjalankan jaringan pipa data

Data mentah sangat jarang disampaikan dalam bentuk dan konteks yang tepat yang kita butuhkan untuk tujuan analitis. Oleh karena itu, bagian penting dari pekerjaan Analis Data, Ilmuwan, dan Insinyur kami adalah membangun transformasi data dan rantai transformasi menjadi pipeline yang dijadwalkan berjalan secara berkala. Kami menggunakan dbt untuk mengubah data menjadi format skema bintang dan kumpulan data luas yang digunakan untuk intelijen bisnis, analisis ad hoc, dan masukan ke model pembelajaran mesin. Tim platform kami memastikan bahwa setiap tim memiliki alat, pelatihan, dan dukungan yang diperlukan untuk mengelola setiap aspek saluran datanya. Beberapa contoh hal yang dapat diakses oleh semua tim:

• Pisahkan saluran Slack di mana mereka diberi tahu ketika ada sesuatu yang mati atau rusak di jalur pipa mereka.
• Dasbor biaya tempat mereka mendapatkan ikhtisar tentang pengeluaran kredit Snowflake saluran pipa mereka dan pekerjaan dbt dengan kinerja terburuk.
• #data-platform-support Slack channel tempat mereka dapat menghubungi teknisi data untuk mendapatkan bantuan terkait tugas seperti penyempurnaan kinerja.

Analis Data dalam Pengiriman berada dalam posisi unik untuk memahami bagaimana data dapat berdampak pada domain pengiriman, dan mereka memiliki keterampilan untuk membangun produk data yang memenuhi kebutuhan dan peluang khusus area pengiriman. Kami akan mendalami produk data dalam artikel lanjutan, tetapi untuk saat ini, katakanlah produk data dapat berupa apa saja, mulai dari data mart di Snowflake, penjelajahan Looker, hingga model pembelajaran mesin, dan banyak hal lainnya. di antara. Poin utamanya adalah bahwa tim bertanggung jawab penuh untuk menemukan, membangun, menjalankan, dan mengelola produk data yang tepat, melakukan penataan portofolio produk data, dan memastikan produk data diimplementasikan dan dioperasionalkan dengan benar.

Dorong pengembangan produk dengan data

Dalam tim produk berperforma tinggi mana pun, data akan menjadi yang terdepan dan utama saat menemukan, membangun, dan mengelola produk hebat. Memiliki data dan produk data yang tepat hanyalah sebagian kecil dari apa yang diperlukan untuk beroperasi di level ini. Yang tak kalah penting adalah memiliki kompetensi, budaya, kerangka kerja, metrik, dan cara kerja yang tepat. Ini akan berarti hal yang berbeda untuk peran yang berbeda di setiap tim:

• Manajer Produk akan menghabiskan banyak waktu untuk meninjau dan menganalisis metrik produk tim dan dampaknya terhadap metrik bisnis. Untuk manajer produk di Pengiriman, waktu pemuatan rute dan pengiriman tepat waktu adalah contoh metrik yang perlu dilacak dan dipahami. Untuk tim yang membangun bagian produk kami yang menghadap pelanggan, metrik seperti rasio klik-tayang, rasio konversi, kedalaman gulir, dan hasil dari eksperimen terbaru lebih relevan. Karena kami menggunakan tujuan dan hasil utama (OKR) untuk menyelaraskan strategi dengan eksekusi tim , Manajer Produk juga ingin mengukur dan menganalisis kemajuan menuju hasil utama dalam fokus selama periode OKR.
• Insinyur Perangkat Lunak akan memastikan bahwa aplikasi mereka diinstrumentasi dengan benar dan akan membuat pelacakan dan menandai fitur ke setiap bagian aplikasi dan semua fitur baru. Hal ini memungkinkan tim menjalankan eksperimen dan peluncuran bertahap untuk memahami saat perubahan produk tidak berguna, dapat digunakan, atau seefektif yang kami kira, dan untuk meminimalkan dampak bug dan kode buruk. Mereka juga akan mengawasi metrik teknologi seperti waktu muat, waktu henti, dan waktu rata-rata untuk pulih untuk memastikan kami selalu mendorong kode kualitas.
• Perancang UX akan tertarik untuk menggabungkan pembelajaran dari penelitian kualitatif mereka dengan data kuantitatif tentang bagaimana sebenarnya perilaku pelanggan kami. Mereka akan menyiapkan dan menjalankan eksperimen untuk memastikan semua asumsi diuji dan divalidasi, dan mereka akan menggali lebih dalam data tentang berbagai segmen pelanggan.
• Analis Data, Ilmuwan, dan Insinyur terutama ada di sana untuk membantu memfasilitasi cara kerja ini. Mereka akan mendukung tim dengan membuat produk data yang berguna, membantu menyiapkan eksperimen dan menganalisis hasil, melatih dan melatih cara menganalisis data, dan semua hal lain yang dibutuhkan tim untuk mendorong pengembangan produk dengan data. Untuk membaca lebih lanjut tentang tiga peran berbeda dan apa yang biasanya mereka lakukan, lihat tiga peran kami di Data & Wawasan di Oda .

Penting untuk dicatat bahwa meskipun Analis Data, Ilmuwan, dan Insinyur adalah "profesional data" dalam tim, kepemilikan data terdistribusi adalah tanggung jawab tim dan bukan sesuatu yang hanya menyangkut sebagian tim.

Aktifkan tim dan orang-orang yang mereka dukung

Prinsip kami yang lain adalah menghargai pemberdayaan atas serah terima . Dalam contoh kami, ini berarti tim Pengiriman akan bekerja untuk mendorong literasi data, meningkatkan keterampilan rekan kerja mereka tentang topik, alat, dan metodologi data, dan memberi mereka bimbingan dan pembinaan yang mereka butuhkan untuk melayani diri sendiri dan mampu menyelesaikan sebagian besar masalah mereka sendiri. masalah sehari-hari. Banyak tim produk kami, termasuk Pengiriman, juga bertanggung jawab untuk mendukung tim operasional. Oleh karena itu, rekan kerja tidak hanya menjadi anggota timnya sendiri, tetapi juga orang yang bertanggung jawab atas manajemen pengemudi, kontrol halaman, dan sebagainya.

Sampai batas tertentu, kekurangan dalam literasi dan kompetensi data dapat dikompensasi dengan menyediakan produk data yang lebih halus: Tidak semua orang dapat membuat dasbor yang mereka butuhkan, dan kemudian seorang Analis Data dapat membuatnya untuk mereka. Tantangannya adalah menemukan keseimbangan antara siapa dan berapa banyak yang harus diaktifkan versus apa dan berapa banyak yang harus dibangun. Idealnya, Analis Data, Ilmuwan, dan Insinyur kami menghabiskan sebagian besar waktunya untuk tugas-tugas dengan daya ungkit tinggi yang benar-benar membutuhkan keahlian khusus lengkap mereka dan lebih sedikit pada tugas-tugas yang, dengan beberapa kemampuan, dapat dilakukan oleh orang lain. Bagaimanapun, dan siapa pun yang akhirnya membangun dasbor tersebut, tim bertanggung jawab untuk memastikan bahwa area yang didukungnya memiliki struktur dasbor yang terdefinisi dengan baik, kohesif, dan holistik. tanggung jawab tim.

Idealnya, Analis Data, Ilmuwan, dan Insinyur kami menghabiskan sebagian besar waktunya untuk tugas-tugas dengan daya ungkit tinggi yang benar-benar membutuhkan keahlian khusus lengkap mereka dan lebih sedikit pada tugas-tugas yang, dengan beberapa kemampuan, dapat dilakukan oleh orang lain.

Pemberdayaan juga penting saat mengoperasionalkan model pembelajaran mesin yang dibuat oleh Ilmuwan Data kami. Agar operasi kami dapat membuat keputusan kepegawaian yang baik berdasarkan hasil dari model perkiraan penjualan dan permintaan kami, mereka memerlukan pemahaman yang baik tentang mekanisme yang mendasari dan input, asumsi, kekuatan, dan kelemahan model.

Untuk meringkas contoh kami, Pengiriman bertanggung jawab atas setiap aspek penciptaan nilai dari data dalam domain pengiriman, dan ini jauh melampaui menjalankan jalur pipa data mereka sendiri. Pengaturan yang sama berlaku untuk setiap tim produk lain di Oda dan, pada intinya, adalah apa yang kami maksud dengan kepemilikan terdistribusi.

Tata kelola bersama: Memecahkan kohesi dan harmoni

Dengan mendistribusikan kepemilikan "semua data", kami memberdayakan semua tim kami untuk bergerak secara mandiri dan cepat. Tetapi meskipun kami menghargai kebebasan dan otonomi untuk tim kami, kami juga menganggap penting untuk menyelaraskan beberapa aspek praktik data kami. Memberikan pengalaman pengguna yang holistik di Looker, menggunakan nama yang sama untuk konsep data yang sama, dan menggunakan teknik pemodelan data dan standar pengkodean yang sama adalah contoh hal yang perlu kami selesaikan di seluruh tim. Sampai batas tertentu, tim dapat mengatur dan berkoordinasi sendiri, dan ada juga elemen otoritas intrinsik dalam tim yang menjadi pemilik domain data yang jelas (Pengiriman dapat memutuskan bahwa kendaraan disebut "kendaraan" dan bukan "mobil", misalnya).

Alat dan infrastruktur bersama

Ada banyak alasan bagus untuk menyelaraskan perkakas umum agar pekerjaan serupa dapat dilakukan. Biasanya ada beberapa overhead dalam pengadaan dan pengelolaan alat, karena alat sering memerlukan keahlian khusus untuk mengintegrasikan, mengoperasikan, dan menggunakan. Biaya marjinal untuk menambahkan lebih banyak pengguna atau kasus penggunaan ke alat yang sudah ada seringkali lebih rendah daripada membeli alat baru, dan alat umum juga melayani mobilitas internal. Di Oda, merupakan bagian penting dari mandat bagi tim platform data kami untuk memahami kebutuhan alat umum di seluruh organisasi, dan membeli, membangun, mengintegrasikan, dan mengoperasikan alat yang memenuhi kebutuhan tersebut.

Panduan bersama dan praktik terbaik

Memiliki pedoman dan praktik terbaik yang terdokumentasi tentang cara melakukan tugas serupa di seluruh tim membantu kami mengurangi kerumitan teknis, meningkatkan interoperabilitas dan pengalaman pengguna, serta menurunkan hambatan mobilitas internal. Contohnya bisa berupa konvensi penamaan, standar pengkodean, praktik untuk menangani data historis, dan palet warna standar untuk digunakan di dasbor.

Pemberdayaan dan pelatihan

Dengan memberikan pelatihan mendasar tentang konsep alat dan data kami, kami memastikan bahwa alat, metode, dan praktik terbaik kami dipahami dan digunakan dengan baik, dan bahwa kami memiliki pemahaman yang sama tentang konsep data terpenting kami. Kami menjalankan pelatihan Looker reguler, memberikan dukungan ad-hoc, dan memfasilitasi komunitas praktik. Sebagai contoh yang terakhir, tim platform yang bertanggung jawab untuk menyediakan alat eksperimen juga bertanggung jawab untuk memfasilitasi komunitas praktik eksperimen , di mana orang-orang dari seluruh organisasi berkumpul untuk belajar tentang eksperimen dan menyepakati praktik umum.

Terakhir, ada baiknya menyoroti nilai memiliki disiplin Data & Wawasan yang kuat di mana para profesional data dari tim yang berbeda berkumpul untuk belajar, meretas, berkolaborasi, membangun hubungan, dan bersenang-senang. Dengan memiliki komunitas data yang kuat, lebih mudah untuk menemukan solusi umum untuk masalah umum, penyerbukan silang ide dan praktik, crowdsource pendekatan yang berbeda untuk masalah yang kompleks, dan bekerja sama untuk memecahkan masalah yang mencakup berbagai area. Itu juga memainkan peran penting dalam pengembangan profesional banyak orang dan dalam menarik dan mempertahankan bakat.

Bersama dengan lima prinsip lainnya, kepemilikan data terdistribusi, tata kelola data bersama memainkan peran kunci dalam cara kami mengoperasikan dan mengembangkan praktik data kami di Oda dan, yang terbaik, merupakan pendekatan yang sangat kuat untuk menyelesaikan data dalam skala besar. Pada intinya, ini tentang melihat data sebagai kemampuan, bukan fungsi, dan memberikan kebebasan besar kepada tim produk (dan dengan kebebasan besar datang tanggung jawab besar).

Jika Anda menyukai posting ini, Anda harus melihat blog Oda Product & Tech Medium kami untuk lebih lanjut. Di sana, Anda dapat membaca bagaimana tim Pengiriman beralih dari nol wawasan menjadi memprediksi waktu layanan dengan model pembelajaran mesin dan bagaimana memberdayakan Ilmu Data End-to-End di Oda dengan Platform Ilmu Data kami .