pengantar

Hari ini kami mengangkat tirai dan memperkenalkan Paradime , sistem operasi untuk analitik, yang telah kami bangun secara diam-diam selama 2 tahun terakhir.

Membangun startup secara diam-diam itu sulit. Ini lebih sulit dari yang bisa Anda bayangkan. Mempekerjakan itu sulit, mencari prospek itu sulit. Berbicara kepada orang-orang tentang produk Anda itu sulit. Tapi itu membantu membangun dan mengulang produk tanpa gangguan bersama mitra desain kami untuk memperkuat proposisi. Jadi itulah yang telah kami lakukan.

Dalam tumpukan data modern, selama beberapa tahun terakhir, proliferasi solusi poin baru telah menyebabkan kekacauan alat. Ada begitu banyak alat di luar sana sehingga tidak mungkin melacak semuanya. Pemimpin data menghabiskan lebih banyak waktu daripada yang seharusnya mencoba mengelola alat, biaya, dan vendor mereka. Mereka lelah melakukan perjalanan bolak-balik dengan pengadaan. Mereka juga muak berurusan dengan penyebaran data di banyak vendor, yang meningkatkan risiko pelanggaran data.

Bagi insinyur analitik, kekacauan alat telah menyebabkan kelebihan beban kognitif dan penurunan produktivitas. Hidup menjadi lebih sulit dari sebelumnya.

Seperti yang dirangkum Benn dalam postingannya The powder tong of the modern data stack bahwa:

Namun, pertempuran terbesar yang membayangi akan berada di wilayah yang berbeda: Otak - atau sistem operasi

Di Paradime, kami sedang membangun sistem operasi untuk analitik .

Latar belakang

Kembali pada tahun 2018–19, di Octopus, tim saya membangun kembali seluruh tumpukan data dari awal. Kami merobek tumpukan warisan yang rapuh yang terdiri dari SSIS, kode penyerapan yang dipesan lebih dahulu yang ditulis dalam .NET, SQL Server, Qlik, dll.

Solusi terakhir yang kami dapatkan setelah 6 bulan kerja yang melelahkan terlihat seperti di bawah ini:

• Stitch , Fivetran dan Segmen untuk penyerapan data
• dbt-core berjalan di dalam aliran udara untuk transformasi
• Mencari visualisasi

Di atas arsitektur alat, saat kami menambahkan lapisan orang/tim, kami melihat bahwa:

• Aliran data membuat alat tetap terhubung dengan erat
• Namun alat tersebut memecah lapisan orang / tim
• Dan, Slack adalah satu-satunya perekat penghubung yang longgar untuk komunikasi manusia

Setiap analis data akan menghabiskan sebagian besar hari-hari mereka berpindah-pindah di antara aplikasi low-code/some-code/open-source/komersial, memadamkan kebakaran, dan tenggelam dalam permintaan data ketika yang seharusnya mereka lakukan hanyalah menghasilkan RoI untuk bisnis.

Rata-rata organisasi Seri C+ akan memiliki 70 karyawan dalam fungsi bisnis per analis data, yang berarti pada hari tertentu 70 karyawan ini akan menjadi gila karena mereka tidak mendapatkan jawaban atas pertanyaan atau permintaan mereka dan analis yang malang akan berteriak dalam hatinya. kepala bahwa dia ingin membangun wawasan yang berharga tidak menanggapi Slack sepanjang hari. Kebuntuan ini kami lihat secara langsung di Octopus, lalu di Guardian, lalu di Revolut, Hubspot, Carta, dan daftarnya terus berlanjut.

Kami mendengar berkali-kali dari analis data dan insinyur analitik bahwa meskipun dbt telah membebaskan mereka dari neraka SQL, ledakan alat telah mendorong mereka kembali ke api neraka.

Di sisi lain, kami melihat bahwa fungsi bisnis haus akan data dan membuat keputusan bisnis berbasis data yang meningkat secara eksponensial. Slack tanpa konteks data tidak lagi cocok untuk tujuan perusahaan berbasis data.

Lapisan percakapan manusia ke manusia yang esensial seputar data terasa kikuk, memakan waktu, dan tanpa konteks.

Kami memutuskan untuk mengatasi masalah produktivitas dan kolaborasi dalam alur kerja analitik melalui Paradime.

Kami menyadari bahwa dunia baru dbt + tumpukan data modern memerlukan kategori alat baru untuk digunakan agar orang dapat bekerja lebih cepat, lebih cerdas, dan tidak terlalu stres.

Apa yang sedang kita bangun?

Disiplin analitik data telah berkembang secara besar-besaran dalam beberapa tahun terakhir. Ada gerakan untuk membawa prinsip-prinsip rekayasa perangkat lunak ke analitik. Analisis sebagai suatu disiplin ilmu berbeda dengan rekayasa perangkat lunak. Ada konteks kode, konteks data, dan konteks orang. Namun, sebagai analis, kami terjebak dengan alat yang digunakan oleh insinyur perangkat lunak.

Kami mengubah status quo ini dengan menghadirkan hal-hal berikut ke pasar:

1. Sistem operasi analitik yang memberi orang kontrol atas data mereka sekaligus membuat lompatan nilai non-linear melalui alur kerja yang efisien.
2. menghubungkan data, analitik, dan fungsi bisnis dalam satu alur kerja kolaboratif

Ini seperti memiliki prosesor yang sangat kuat pada motherboard sementara sistem bus di antara mereka memiliki throughput yang terbatas.

Paradime dibangun untuk meningkatkan alur kerja analitik tersebut, yang saat ini tidak ada di sebagian besar organisasi atau hanya ada di bisnis dengan sumber daya yang signifikan untuk membangun alat internal.

Untuk itu, hari ini kami mengumumkan 5 komponen dari alur kerja tersebut seperti yang dijelaskan di bawah ini.

1. Orientasi

Beralih dari penyiapan dan pengelolaan ruang kerja dbt di masing-masing laptop, di Paradime Anda dapat mengaktifkan analis dalam waktu kurang dari 3 menit setelah akun disiapkan oleh admin. Penyiapan akun admin membutuhkan waktu kurang dari 30 menit dan tidak memerlukan dukungan teknik apa pun. Tidak ada biaya implementasi 3 bulan dan layanan profesional.

Kami mendukung koneksi ke repositori dbt di Github , BitBucket , dan Gitlab . Kami mendukung koneksi ke Redshift , BigQuery , Snowflake , Firebolt , dan lainnya.

2. Kode IDE

Code IDE adalah permata mahkota dari pengalaman Paradime.

Paradime IDE menghadirkan pengalaman IDE desktop terbaik di kelasnya untuk analitik ke cloud. Ini cepat, berkinerja, dan memiliki cakupan fitur terluas. Ini dibuat khusus untuk alur kerja analitik dibandingkan dengan IDE cloud tujuan umum seperti Gitpod , AWS Cloud9 , Stackblitz , yang lebih cocok untuk rekayasa perangkat lunak.

Muncul dengan semua ergonomi yang diharapkan pengembang dari IDE desktop, tetapi beberapa fitur penting termasuk:

• Semua yang Anda miliki di VSCode — tampilan dan nuansa, pintasan keyboard, pencarian file sehingga Anda tidak perlu mempelajari IDE baru dari awal.
• Terminal asli untuk menjalankan perintah CLI apa pun termasuk git, python, dan SqlFluff
• pengguna daya dbt juga dapat menginstal paket python mereka sendiri.
• Dukungan git-ops berbasis UI penuh untuk pengguna pemula dan lanjutan
• Dan yang paling penting, tampilan silsilah, dokumen, pratinjau data secara real-time untuk model dbt apa pun — tanpa menjalankan perintah dbt apa pun atau membuat manifest.json

3. Grafik Silsilah

Masalah yang ingin kami selesaikan di sini adalah:

1. Analis tidak dapat menunggu berjam-jam atau bahkan beberapa menit untuk melihat garis keturunan yang diperbarui saat mereka membangun model baru atau memperbaiki model yang sudah ada. Mereka membutuhkan tampilan real-time.
2. Analis membutuhkan pemahaman holistik tentang garis keturunan di lapisan dbt (sudah ada di dbt-cloud) dan lapisan BI dalam pekerjaan mereka sehari-hari.

Untuk Looker, kami menyediakan silsilah di seluruh Views, Explores, Looks, Dashboards, dan Schedules, memberi Anda tampilan end-to-end dari silsilah dbt+Looker Anda. Demikian pula, untuk Tableau kami dapat menautkan Sumber Data, Lembar Kerja, dan Dasbor.

Tim bergerak melampaui dbt exposures, yang sulit dipertahankan dan tidak memberikan visibilitas apa pun pada komponen lapisan BI antara tabel dbt dan dasbor BI.

4. Jadwal Baut

Masalah yang ingin kami selesaikan di sini adalah:

1. Pengguna Analytics menganggap Airflow / Dagster / Prefek sulit
2. Tim Platform Data tidak suka orang pergi dan mengubah alur kerja produksi di UI dbt-cloud tanpa ketertelusuran.

Kami juga memiliki API untuk memicu jadwal dbt Anda dari Airflow, Dagster, atau Prefek dan menerima peringatan saat selesai. API memberi tim platform lebih banyak kontrol untuk mengelola dependensi upstream dan downstream jadwal dbt.

Dan apakah saya memberi tahu Anda — kami juga memiliki importir sekali klik untuk semua pekerjaan dbt Anda dari cloud dbt ke Paradime, jadi migrasi tidak terasa seperti petualangan gila.

5. Permintaan SQL

Membangun model dbt seringkali merupakan langkah terakhir dalam proses pemodelan. Analis menghabiskan banyak waktu menjelajahi data di gudang dan mengutak-atik SQL mentah dan terkompilasi dari model yang ada untuk menjalankan pekerjaan sehari-hari mereka. Ada banyak bolak-balik antara editor IDE dan SQL, menyalin dan menempel, mengedit dan mengganti nama tabel dengan referensi.

Masalah yang ingin kami selesaikan di sini adalah:

1. Bagaimana membuat pemodelan dbt dan proses eksplorasi data mulus sehingga Anda tidak perlu bolak-balik.
2. Cara membuat tuning model dbt yang dikompilasi menjadi efisien tanpa harus bolak-balik antara editor kode dan editor SQL

Paradim untuk siapa?

Selama evolusi OS untuk Apple, ada dua aliran pemikiran - Wozniak percaya bahwa itu harus menjadi sistem terbuka sehingga penghobi dan pengotak-atik dapat bermain dengannya dan Steve Jobs, berpikir itu harus menjadi sistem yang berfungsi. Hari ini, kami menyukai MacOS, karena berfungsi dengan baik.

Selama penelitian kami, kami menemukan bahwa ada dua persona utama analis/insinyur analitik yang serupa di dunia saat ini:

• Tinkerers — Ini adalah orang-orang yang suka mengotak-atik, bermain-main dengan berbagai alat, dan perpustakaan. Mereka suka mengeksplorasi dan membangun fitur mereka sendiri di atas OSS yang ada. Mereka sudah sangat nyaman dengan pengaturan IDE mereka sendiri. Mereka adalah penghobi. Mereka lebih berorientasi pada rekayasa perangkat lunak. Paradime sepertinya tidak cocok untuk mereka hari ini.
• Pembangun — Ini adalah pengguna yang secara khusus berfokus untuk menyelesaikan pekerjaan mereka dengan cepat tanpa repot. Pengguna yang menghargai produktivitas, pengguna yang mengutamakan kecepatan. Mereka ingin mengasah keterampilan analitik dan pemodelan data mereka. Mereka ingin menghasilkan nilai bisnis dari wawasan mereka. Mereka hanya menyukai alat yang tidak memerlukan penyiapan, yang berfungsi dengan baik. Paradima adalah untuk mereka.

Apa berikutnya?

Yah, banyak sekali. Kami hanya mengumumkan puncak gunung es di sini. Kami juga meluncurkan Perburuan Produk minggu depan, jadi ikuti kami untuk mendapatkan pemberitahuan saat kami meluncurkan.

Kami memiliki banyak hal yang akan datang dalam beberapa bulan mendatang, jadi tunggu kursi Anda.

Karena seperti yang saya katakan sebelumnya, dunia analitik benar-benar membutuhkan kelas alat yang lebih baik untuk digunakan dan jalan kita masih panjang.