Ở Oda, quyền sở hữu dữ liệu phân tán, quản trị dữ liệu được chia sẻ là một trong sáu nguyên tắc về cách chúng tôi tạo ra giá trị từ dữ liệu . Nguyên tắc này là chìa khóa dẫn đến thành công của chúng tôi trong việc mở rộng Dữ liệu & Thông tin chi tiết từ một nhóm làm bánh pizza thành một bộ môn quy mô lớn và đẩy ranh giới của những gì có thể xảy ra khi dữ liệu đáp ứng các vấn đề trong thế giới thực trong không gian tạp hóa trực tuyến. Trong bài đăng này, chúng tôi tìm hiểu sâu về ý nghĩa của quyền sở hữu dữ liệu phân tán, quản trị dữ liệu được chia sẻ và cách chúng tôi giải quyết vấn đề này trong thực tế.

Dữ liệu là một khả năng, không phải là một chức năng

Hầu hết các Nhà phân tích dữ liệu, Nhà khoa học dữ liệu và một số Kỹ sư dữ liệu của chúng tôilàm việc như một phần của nhóm sản phẩm đa chức năng với Kỹ sư phần mềm, Giám đốc sản phẩm, Nhà thiết kế UX và chuyên gia miền (như chuyên gia hậu cần, thương mại và tăng trưởng) ở các bộ phận khác nhau trong tổ chức của chúng tôi. Đồng định vị các kỹ năng dữ liệu và các vấn đề về miền chỉ là bước đầu tiên — chúng tôi cũng muốn trao quyền cho các nhóm của mình di chuyển một cách tự chủ và nhanh chóng để giải quyết các vấn đề hiện tại và đây là lúc quyền sở hữu phân tán đóng một vai trò quan trọng. Lấy cảm hứng từ khái niệm lưới dữ liệu, chúng tôi đã đặt phần lớn trách nhiệm về dữ liệu cho các nhóm sản phẩm khác nhau, những người có toàn quyền sở hữu “mọi dữ liệu” trong miền kinh doanh của họ. Các nhóm được hỗ trợ bởi các nhóm nền tảng trung tâm, cung cấp các dịch vụ hỗ trợ và nền tảng như cơ sở hạ tầng, công cụ, hướng dẫn và đào tạo mà mọi người cần để làm việc hiệu quả với dữ liệu.

Trên thực tế, điều này có nghĩa là mỗi nhóm chịu trách nhiệm về toàn bộ chuỗi giá trị dữ liệu trong miền của họ. Điều này bao gồm mọi thứ từ sản xuất và nhập dữ liệu, đường ống dẫn dữ liệu và sản phẩm, cũng như các chủ đề như hiểu biết về dữ liệu và cách chúng tôi hành động dựa trên thông tin chi tiết. Ở Oda, dữ liệu là một khả năng, không phải là một chức năng. Chúng tôi không có nhóm dữ liệu trung tâm giải quyết “tất cả các vấn đề về dữ liệu”. Điều này tùy thuộc vào từng đội.

Ở Oda, dữ liệu là một khả năng, không phải là một chức năng. Chúng tôi không có nhóm dữ liệu trung tâm giải quyết “tất cả các vấn đề về dữ liệu”. Điều này tùy thuộc vào từng đội.

Nhóm sản phẩm là nhóm dữ liệu mới

Trong các phần tiếp theo, chúng tôi sẽ sử dụng nhóm Phân phối làm ví dụ về cách hoạt động của quyền sở hữu phân tán. Nhóm này là một phần trong sứ mệnh của chúng tôi nhằm cung cấp trải nghiệm phân phối không phải lo lắng nhất trên thế giới và chúng tôi có Nhà phân tích dữ liệu làm việc cùng với Kỹ sư phần mềm, Giám đốc sản phẩm, Nhà thiết kế và chuyên gia phân phối để biến điều đó thành hiện thực. Nhóm chịu trách nhiệm về những việc như quản lý phương tiện, nhân sự tuyến đường và hàng trả lại từ khách hàng, đồng thời họ xây dựng và vận hành công nghệ cũng như ứng dụng hỗ trợ các quy trình này.

Trách nhiệm đối với một nhóm như Phân phối trong mô hình quyền sở hữu phân tán có thể được tóm tắt trong sáu mục sau:

• Sản xuất và hiển thị dữ liệu từ các ứng dụng
• Cung cấp dữ liệu dễ dàng cho chính họ và những người khác
• Xây dựng và chạy các đường ống dữ liệu
• Xây dựng và quản lý các sản phẩm dữ liệu
• Thúc đẩy phát triển sản phẩm với dữ liệu
• Kích hoạt các nhóm và những người mà họ đang hỗ trợ

Sản xuất và hiển thị dữ liệu từ các ứng dụng

Các nguồn dữ liệu quan trọng nhất đối với nhóm Phân phối là các ứng dụng mà họ xây dựng và chạy. Ví dụ về điều này là ứng dụng di động mà tài xế sử dụng khi giao hàng và ứng dụng mà văn phòng điều phối sử dụng để lập kế hoạch, giám sát và hỗ trợ tài xế trên các tuyến đường. Bằng cách xây dựng và chạy các nguồn dữ liệu của riêng họ, nhóm có toàn quyền kiểm soát đối với nội dung, cách thức và thời điểm dữ liệu được tạo. Nhà phân tích dữ liệu sẽ làm việc cùng với Kỹ sư phần mềm để đảm bảo rằng dữ liệu phù hợp được lưu trữ ở định dạng phù hợp trong hệ thống nguồn và dữ liệu sự kiện liên quan được theo dõi trong ứng dụng. Đây là một "sự thay đổi trái" về dữ liệu cho các nhóm sản phẩm: Dữ liệu là một phần của mọi bước của quy trình thiết kế và xây dựng thay vì là một suy nghĩ sau. Các vấn đề về chất lượng dữ liệu được giải quyết từ trong trứng nước thay vì chất đống ở cuối hồ sơ tồn đọng.

Đây là một "sự thay đổi trái" về dữ liệu cho các nhóm sản phẩm: Dữ liệu là một phần của mọi bước của quy trình thiết kế và xây dựng thay vì là một suy nghĩ sau. Các vấn đề về chất lượng dữ liệu được giải quyết từ trong trứng nước thay vì chất đống ở cuối hồ sơ tồn đọng.

Cung cấp dữ liệu dễ dàng cho chính họ và những người khác

Mỗi nhóm cũng chịu trách nhiệm cung cấp dữ liệu của họ và có thể tương tác để các nhóm khác sử dụng. Điều này sẽ không thể thực hiện được nếu không có các nhóm nền tảng hỗ trợ các nhóm sản phẩm với cơ sở hạ tầng, công cụ và hướng dẫn được chia sẻ. Ở Oda, chúng tôi sử dụng Fivetran để nhập hàng loạt dữ liệu giao dịch và Snowplow cho dữ liệu sự kiện từ web, ứng dụng và phía máy chủ, đồng thời tất cả dữ liệu được đưa vào kho dữ liệu của chúng tôi, Snowflake. Trong Snowflake, dữ liệu được cung cấp để các nhóm khác truy vấn và xây dựng, giúp dữ liệu có thể tương tác với dữ liệu từ các nhóm và miền khác. Ví dụ: Nhà phân tích dữ liệu trong Phân phối chịu trách nhiệm lấy dữ liệu được tạo ra trong quy trình quản lý phương tiện và thiết lập ảnh chụp nhanh thường xuyên của bộ dữ liệu mà chúng tôi muốn lưu giữ hồ sơ lịch sử.

Để đảm bảo dữ liệu có thể tương tác trong toàn bộ ngăn xếp thông tin chi tiết của chúng tôi, chúng tôi tuân theo các nguyên tắc được chia sẻ về cách đặt tên và cấu trúc dữ liệu. Bằng cách này, chúng tôi đảm bảo rằng dữ liệu từ các nhóm và miền khác nhau có thể được sử dụng cùng nhau trong các lớp logic khác nhau trong Snowflake và trong lớp ngữ nghĩa (khám phá) trong Looker.

Xây dựng và chạy các đường ống dữ liệu

Dữ liệu thô rất hiếm khi được cung cấp đúng hình dạng và ngữ cảnh mà chúng tôi cần cho mục đích phân tích. Do đó, một phần quan trọng trong công việc của các Nhà phân tích dữ liệu, Nhà khoa học và Kỹ sư của chúng tôi là xây dựng các chuyển đổi dữ liệu và chuyển đổi chuỗi thành các quy trình được lên lịch chạy đều đặn. Chúng tôi sử dụng dbt để chuyển đổi dữ liệu sang định dạng lược đồ sao và bộ dữ liệu rộng được sử dụng cho hoạt động kinh doanh thông minh, phân tích đặc biệt và đầu vào cho các mô hình máy học. Các nhóm nền tảng của chúng tôi đảm bảo rằng mỗi nhóm đều có các công cụ, đào tạo và hỗ trợ cần thiết để quản lý mọi khía cạnh của đường ống dẫn dữ liệu. Một vài ví dụ về những thứ mà tất cả các nhóm đều có quyền truy cập:

• Kênh Slack riêng biệt nơi họ được thông báo khi có thứ gì đó bị tắt hoặc hỏng trong đường ống của họ.
• Bảng điều khiển chi phí nơi họ có được cái nhìn tổng quan về chi tiêu tín dụng Snowflake của đường ống và các công việc dbt hoạt động kém nhất.
• #data-platform-support Kênh Slack nơi họ có thể liên hệ với các kỹ sư dữ liệu để được hỗ trợ về các tác vụ như điều chỉnh hiệu suất.

Nhà phân tích dữ liệu trong Phân phối có vị trí đặc biệt để hiểu cách dữ liệu có thể tạo ra tác động trong miền phân phối và họ có kỹ năng xây dựng các sản phẩm dữ liệu đáp ứng nhu cầu và cơ hội cụ thể của khu vực phân phối. Chúng tôi sẽ đi sâu vào các sản phẩm dữ liệu trong một bài viết tiếp theo, nhưng hiện tại, giả sử một sản phẩm dữ liệu có thể là bất cứ thứ gì từ siêu thị dữ liệu trong Snowflake, khám phá Looker, đến mô hình học máy và nhiều thứ khác trong giữa. Điểm chính là nhóm chịu trách nhiệm hoàn toàn trong việc khám phá, xây dựng, chạy và quản lý các sản phẩm dữ liệu phù hợp, làm vườn danh mục sản phẩm dữ liệu và đảm bảo các sản phẩm dữ liệu được triển khai và vận hành đúng cách.

Thúc đẩy phát triển sản phẩm với dữ liệu

Trong bất kỳ nhóm sản phẩm hiệu suất cao nào, dữ liệu sẽ là trung tâm khi khám phá, xây dựng và quản lý các sản phẩm tuyệt vời. Có dữ liệu và sản phẩm dữ liệu phù hợp chỉ là một phần nhỏ trong những gì cần thiết để hoạt động ở cấp độ này. Điều quan trọng không kém là có năng lực, văn hóa, khuôn khổ, số liệu và cách làm việc phù hợp. Điều này sẽ có ý nghĩa khác nhau đối với các vai trò khác nhau trong mỗi nhóm:

• Người quản lý sản phẩm sẽ dành thời gian đáng kể để xem xét và phân tích các chỉ số sản phẩm của nhóm cũng như tác động của chúng đối với các chỉ số kinh doanh. Đối với người quản lý sản phẩm trong Phân phối, thời gian tải tuyến đường và giao hàng đúng hạn là những ví dụ về số liệu để theo dõi và hiểu. Đối với các nhóm xây dựng các phần hướng tới khách hàng trong sản phẩm của chúng tôi, các số liệu như tỷ lệ nhấp, tỷ lệ chuyển đổi, độ sâu cuộn và kết quả từ các thử nghiệm mới nhất có liên quan hơn. Bởi vì chúng tôi sử dụng các mục tiêu và kết quả chính (OKR) để điều chỉnh chiến lược phù hợp với việc thực hiện của nhóm , Giám đốc sản phẩm cũng sẽ muốn đo lường và phân tích tiến độ hướng tới các kết quả chính được tập trung trong một khoảng thời gian OKR.
• Kỹ sư phần mềm sẽ đảm bảo rằng các ứng dụng của họ được trang bị phù hợp và sẽ xây dựng các cờ theo dõi và tính năng vào mọi phần của ứng dụng và tất cả các tính năng mới. Điều này cho phép nhóm chạy thử nghiệm và triển khai dần dần để hiểu khi nào các thay đổi sản phẩm không hữu ích, khả dụng hoặc hiệu quả như chúng tôi nghĩ, đồng thời giảm thiểu tác động của lỗi và mã xấu. Họ cũng sẽ theo dõi chặt chẽ các số liệu công nghệ như thời gian tải, thời gian ngừng hoạt động và thời gian trung bình để khôi phục để đảm bảo chúng tôi luôn thúc đẩy mã chất lượng.
• Nhà thiết kế UX sẽ quan tâm đến việc kết hợp các bài học từ nghiên cứu định tính của họ với dữ liệu định lượng về cách khách hàng của chúng tôi thực sự hành xử. Họ sẽ thiết lập và chạy các thử nghiệm để đảm bảo mọi giả định đều được kiểm tra và xác thực, đồng thời họ sẽ đào sâu vào dữ liệu về các phân khúc khách hàng khác nhau.
• Các nhà phân tích dữ liệu, nhà khoa học và kỹ sư chủ yếu ở đó để giúp tạo điều kiện thuận lợi cho cách làm việc này. Họ sẽ hỗ trợ nhóm bằng cách xây dựng các sản phẩm dữ liệu hữu ích, giúp thiết lập thử nghiệm và phân tích kết quả, huấn luyện và đào tạo về cách phân tích dữ liệu cũng như mọi thứ khác mà nhóm cần để thúc đẩy phát triển sản phẩm bằng dữ liệu. Để đọc thêm về ba vai trò khác nhau và những gì họ thường làm, hãy xem ba vai trò của chúng tôi trong Data & Insight at Oda .

Điều quan trọng cần lưu ý là mặc dù Nhà phân tích dữ liệu, Nhà khoa học và Kỹ sư là “chuyên gia dữ liệu” trong nhóm, nhưng quyền sở hữu dữ liệu phân tán là trách nhiệm của cả nhóm chứ không phải là điều chỉ liên quan đến các bộ phận trong nhóm.

Kích hoạt các nhóm và những người mà họ đang hỗ trợ

Một trong những nguyên tắc khác của chúng tôi là coi trọng khả năng hỗ trợ hơn là chuyển giao . Trong ví dụ của chúng tôi, điều này có nghĩa là nhóm Phân phối sẽ làm việc để thúc đẩy hiểu biết về dữ liệu, nâng cao kỹ năng cho đồng nghiệp của họ về các chủ đề, công cụ và phương pháp dữ liệu, đồng thời cung cấp cho họ sự cố vấn và huấn luyện mà họ cần để tự phục vụ và có thể tự giải quyết hầu hết các vấn đề của mình các vấn đề hàng ngày. Nhiều nhóm sản phẩm của chúng tôi, bao gồm cả Giao hàng, cũng chịu trách nhiệm hỗ trợ các nhóm vận hành. Do đó, đồng nghiệp không chỉ là thành viên trong nhóm của họ mà còn là những người chịu trách nhiệm quản lý tài xế, kiểm soát sân bãi, v.v.

Ở một mức độ nào đó, sự thiếu hụt về năng lực và hiểu biết về dữ liệu có thể được bù đắp bằng cách cung cấp các sản phẩm dữ liệu tinh tế hơn: Không phải ai cũng có thể xây dựng bảng điều khiển mà họ cần và sau đó Nhà phân tích dữ liệu có thể xây dựng bảng điều khiển đó cho họ. Thách thức là tìm ra sự cân bằng giữa ai và bao nhiêu để kích hoạt so với cái gì và bao nhiêu để xây dựng. Lý tưởng nhất là các Nhà phân tích dữ liệu, Nhà khoa học và Kỹ sư của chúng tôi dành phần lớn thời gian của họ cho các nhiệm vụ có tính đòn bẩy cao thực sự đòi hỏi đầy đủ các kỹ năng chuyên môn của họ và ít hơn cho các nhiệm vụ mà người khác có thể thực hiện với một số hỗ trợ. Trong bất kỳ trường hợp nào và bất kỳ ai là người xây dựng các bảng điều khiển đó, nhóm chịu trách nhiệm đảm bảo rằng các khu vực mà nhóm hỗ trợ có cấu trúc bảng điều khiển được xác định rõ ràng, gắn kết và toàn diện. trách nhiệm của đội.

Lý tưởng nhất là các Nhà phân tích dữ liệu, Nhà khoa học và Kỹ sư của chúng tôi dành phần lớn thời gian của họ cho các nhiệm vụ có tính đòn bẩy cao thực sự đòi hỏi đầy đủ các kỹ năng chuyên môn của họ và ít hơn cho các nhiệm vụ mà người khác có thể thực hiện với một số hỗ trợ.

Việc hỗ trợ cũng rất quan trọng khi vận hành các mô hình học máy mà các Nhà khoa học dữ liệu của chúng tôi xây dựng. Để các hoạt động của chúng tôi đưa ra quyết định nhân sự đúng đắn dựa trên kết quả từ các mô hình dự báo nhu cầu và bán hàng của chúng tôi, họ cần hiểu rõ về các cơ chế cơ bản cũng như đầu vào, giả định, điểm mạnh và điểm yếu của mô hình.

Tóm lại ví dụ của chúng tôi, Phân phối chịu trách nhiệm về mọi khía cạnh của việc tạo giá trị từ dữ liệu trong miền phân phối và điều này còn mở rộng ra ngoài việc chạy các đường dẫn dữ liệu của riêng họ. Cách thiết lập tương tự áp dụng cho mọi nhóm sản phẩm khác trong Oda và về bản chất, đó là ý nghĩa của quyền sở hữu phân tán.

Quản trị chung: Giải quyết sự gắn kết và hài hòa

Bằng cách phân phối quyền sở hữu “mọi dữ liệu”, chúng tôi trao quyền cho tất cả các nhóm của mình di chuyển một cách tự chủ và nhanh chóng. Nhưng mặc dù chúng tôi coi trọng sự tự do và quyền tự chủ cho các nhóm của mình, chúng tôi cũng cho rằng điều quan trọng là phải phù hợp với một số khía cạnh trong thực tiễn dữ liệu của chúng tôi. Cung cấp trải nghiệm người dùng toàn diện trong Looker, sử dụng cùng tên cho cùng khái niệm dữ liệu và sử dụng cùng kỹ thuật lập mô hình dữ liệu và tiêu chuẩn mã hóa là tất cả các ví dụ về những điều chúng tôi cần giải quyết giữa các nhóm. Ở một mức độ nhất định, các nhóm có thể tự quản lý và điều phối, đồng thời cũng có một yếu tố của thẩm quyền nội tại trong nhóm là chủ sở hữu rõ ràng của miền dữ liệu (Delivery quyết định rằng các phương tiện được gọi là “phương tiện” chứ không phải ví dụ như “ô tô”).

Công cụ và cơ sở hạ tầng dùng chung

Có rất nhiều lý do chính đáng để sắp xếp các công cụ chung cho các công việc tương tự được thực hiện. Thông thường, có một số chi phí chung trong việc mua sắm và quản lý các công cụ, vì chúng thường yêu cầu các kỹ năng chuyên môn để tích hợp, vận hành và sử dụng. Chi phí cận biên của việc thêm nhiều người dùng hoặc trường hợp sử dụng vào một công cụ hiện có thường thấp hơn so với mua một công cụ mới và công cụ phổ biến cũng phục vụ cho tính di động nội bộ. Ở Oda, nhiệm vụ quan trọng đối với các nhóm nền tảng dữ liệu của chúng tôi là hiểu các nhu cầu công cụ chung trong toàn tổ chức và mua, xây dựng, tích hợp và vận hành các công cụ đáp ứng các nhu cầu đó.

Hướng dẫn được chia sẻ và thực tiễn tốt nhất

Việc có các nguyên tắc và tài liệu thực hành tốt nhất về cách thực hiện các nhiệm vụ tương tự giữa các nhóm giúp chúng tôi giảm bớt sự phức tạp về kỹ thuật, cải thiện khả năng tương tác và trải nghiệm người dùng, đồng thời hạ thấp rào cản đối với tính di động nội bộ. Ví dụ về điều này có thể là quy ước đặt tên, tiêu chuẩn mã hóa, phương pháp xử lý dữ liệu lịch sử và bảng màu tiêu chuẩn để sử dụng trong bảng điều khiển.

Kích hoạt và đào tạo

Bằng cách cung cấp chương trình đào tạo cơ bản về các khái niệm dữ liệu và công cụ, chúng tôi đảm bảo rằng các công cụ, phương pháp và phương pháp hay nhất của chúng tôi đều được hiểu rõ và sử dụng, đồng thời chúng tôi có hiểu biết chung về các khái niệm dữ liệu quan trọng nhất của mình. Chúng tôi tổ chức các khóa đào tạo Looker thường xuyên, cung cấp hỗ trợ đặc biệt và tạo điều kiện cho các cộng đồng thực hành. Như một ví dụ sau, nhóm nền tảng chịu trách nhiệm cung cấp công cụ thử nghiệm cũng chịu trách nhiệm tạo điều kiện thuận lợi cho cộng đồng thực hành thử nghiệm , nơi mọi người từ khắp nơi trong tổ chức cùng nhau tìm hiểu về thử nghiệm và thống nhất về các thực hành chung.

Cuối cùng, cần nhấn mạnh giá trị của việc có kỷ luật Dữ liệu & Thông tin chi tiết mạnh mẽ, nơi các chuyên gia dữ liệu từ các nhóm khác nhau cùng nhau học hỏi, hack, cộng tác, xây dựng mối quan hệ và vui chơi. Bằng cách có một cộng đồng dữ liệu mạnh mẽ, việc tìm ra các giải pháp chung cho các vấn đề chung sẽ dễ dàng hơn, trao đổi ý tưởng và thực tiễn, thu thập các cách tiếp cận khác nhau cho các vấn đề phức tạp và hợp tác để giải quyết các vấn đề trải rộng trên nhiều lĩnh vực. Nó cũng đóng một vai trò quan trọng trong sự phát triển nghề nghiệp của nhiều người cũng như trong việc thu hút và giữ chân nhân tài.

Cùng với năm nguyên tắc khác, quyền sở hữu dữ liệu phân tán, quản trị dữ liệu được chia sẻ đóng vai trò chính trong cách chúng tôi vận hành và phát triển hoạt động thực hành dữ liệu của mình ở Oda và tốt nhất là một cách tiếp cận rất hiệu quả để giải quyết dữ liệu trên quy mô lớn. Về cốt lõi, đó là việc xem dữ liệu dưới dạng khả năng chứ không phải chức năng và mang lại cho nhóm sản phẩm sự tự do tuyệt vời (và sự tự do lớn đi kèm với trách nhiệm lớn).

Nếu bạn thích bài đăng này, bạn nên xem blog Oda Product & Tech Medium của chúng tôi để biết thêm. Ở đó, bạn có thể đọc cách nhóm Phân phối đi từ thông tin chi tiết bằng không đến dự đoán thời gian dịch vụ bằng mô hình học máy và cách trao quyền cho Khoa học dữ liệu đầu cuối ở Oda với Nền tảng khoa học dữ liệu của chúng tôi .