Streaming yang Baik Dimulai dari Kekuatan Data Warehouse

Industri hiburan digital telah mengalami perubahan signifikan berkat pemanfaatan data. Platform-platform streaming, baik yang fokus pada konten On-Demand maupun siaran langsung, mengandalkan data warehouse sebagai jantung dari operasi skala besar mereka. Data warehouse ini tidak hanya memungkinkan perusahaan-perusahaan untuk memahami perilaku konsumen dengan mendalam, tetapi juga mendorong inovasi produk dan pengambilan keputusan yang lebih cepat dan tepat.

Aplikasi Twitch pada ponsel. Foto oleh Caspar Camille: https://unsplash.com/photos/space-gray-iphone-x-smartphone-turned-on-DrL-cwqD6tM?utm_content=creditCopyText&utm_medium=referral&utm_source=unsplash

Mengapa demikian? Bak DC Cakung, pusat distribusi yang mengelola ribuan paket toko ijo maupun oren, data warehouse adalah tempat penyimpanan dan pengolahan data dari berbagai sumber informasi yang dapat diakses dengan cepat dan efisien. Bagi perusahaan layanan streaming, data warehouse memudahkan mereka mencari data yang dibutuhkan dan menganalisisnya untuk mengembangkan layanan yang lebih baik. Mengenal Anda, yang bisa saja salah satu pengguna, tanpa bertemu. Serta memantau apa yang membuat Anda betah sehingga semakin puas dengan layanan mereka.

Ketergantungan perusahaan besar pada data warehouse muncul dari kebutuhan untuk mengelola volume data yang terus bertambah setiap detiknya. Bayangkan, setiap klik Anda, konten yang dikonsumsi menghasilkan data yang dapat digunakan untuk meningkatkan layanan mereka. Dengan data ini, mereka bisa tahu cara memberikan pengalaman yang lebih personal (pernahkah sampai membuat Anda berpikir, 'kok tahu banget sih?'), dan membuat keputusan penting secepat kilat. Sekarang, mari lihat bagaimana tiga raksasa streaming—Spotify, Twitch, dan Netflix—menggunakan data warehouse untuk membuat Anda senang (dan pastinya menguntungkan mereka juga).

Spotify adalah salah satu contoh terbaik dalam memanfaatkan data warehouse untuk mempersonalisasi pengalaman pengguna. Dengan miliaran stream setiap harinya, Spotify menggunakan data warehouse untuk mengumpulkan dan menganalisis preferensi musik pengguna. Data ini digunakan untuk mengembangkan algoritma rekomendasi unggulan mereka, playlist-playlist “Made For You”, yang menyajikan musik baru nan relevan bagi setiap pengguna.

Twitch, platform streaming siaran langsung, menghadapi tantangan unik dalam mengelola data pengguna yang mengalir dengan sangat cepat. Datanya berupa berbagai aktivitas, seperti siapa yang menonton stream apa, berapa lama mereka menonton, interaksi di chat, dan sebagainya. Hal ini membuat Twitch mengembangkan infrastruktur data warehouse terdesentralisasi yang bernama Tahoe. Keputusan Twitch untuk mendesentralisasikan data warehousing mereka mengurangi “rebutan” akses data antar-tim, sehingga setiap tim dapat menjalankan analisis tanpa hambatan.

Sistem ini mengandalkan Amazon S3 sebagai tempat penyimpanan data mentah dan Amazon Redshift untuk menjalankan query-query kompleks. Sistem ini juga dilengkapi dengan alat ETL near-real-time, Spade, yang mengumpulkan hampir 3 juta event per detik dan dan Sheik menyediakan layanan pelaporan agregat untuk ribuan query tiap harinya.

Kurang lebih mirip dengan sebelumnya, pada Netflix, data warehouse menyediakan data yang menjadi dasar bagi keputusan penting, seperti pengembangan “Netflix Originals” dan rekomendasi yang ditawarkan kepada penggunanya. Analitik yang dihasilkan dari data warehouse juga digunakan untuk memprediksi genre atau konten yang akan populer di pasar tertentu. Sistem data warehouse Netflix menggunakan platform seperti Iceberg di AWS untuk memproses data dalam jumlah besar.

Sudah jelas, salah satu keuntungan terbesar dari data warehouse adalah kecepatan akses data yang memungkinkan perusahaan-perusahaan ini untuk mengambil keputusan cepat dan tepat waktu. ntah itu untuk menyajikan rekomendasi konten yang lebih sesuai dengan selera pengguna atau mengoptimalkan strategi pemasaran, data warehouse memungkinkan keputusan berbasis data-driven.

Namun, seiring dengan pertumbuhan bisnis, volume data mereka juga terus meningkat secara signifikan. Tantangan utama bagi perusahaan-perusahaan ini adalah bagaimana mengelola dan menjaga ketersediaan data yang terus bertambah. Seperti yang sudah disebutkan sebelumnya, mereka telah melakukan berbagai inovasi, seperti Twitch yang mengimplementasikan arsitektur desentralisasi dan Netflix yang menggunakan sistem optimasi data seperti Iceberg. Perusahaan-perusahaan besar harus menginvestasikan sumber daya yang besar untuk memastikan integrasi dan aksesibilitas data di seluruh organisasi.

Referensi:

Palmer, J. (2013, May 13). Analytics at Spotify. Spotify Engineering. https://engineering.atspotify.com/2013/05/analytics-at-spotify/

Twitch. (2023, September 28). Twitch State of Engineering 2023. Twitch Blog. https://blog.twitch.tv/en/2023/09/28/twitch-state-of-engineering-2023/

Netflix. (n.d.). Data Platform Team. Netflix Jobs. https://jobs.netflix.com/team?slug=data-platform