NADIKABAR.COM — Jakarta (NadiKabar) – Confluent, perusahaan penyedia platform data streaming yang merupakan bagian dari IBM, memperkenalkan arsitektur data Streamhouse untuk membantu perusahaan menyediakan informasi bisnis terkini bagi agen kecerdasan buatan (AI), aplikasi, dan sistem analitik dalam mendukung pengambilan keputusan secara real-time.
Melalui arsitektur tersebut, perusahaan dapat menangkap, memproses, mengelola, dan menyajikan data dari berbagai sistem secara terpadu sehingga agen AI maupun aplikasi dapat mengambil tindakan berdasarkan kondisi bisnis aktual.
Confluent menyatakan pengembangan Streamhouse didukung penambahan kemampuan Query sebagai pilar kelima pada Platform Data Streaming (DSP), melengkapi kemampuan Stream, Connect, Process, dan Govern.
Senior Vice President sekaligus General Manager Confluent APAC Greg Taylor mengatakan perusahaan di kawasan Asia Pasifik menghadapi peningkatan kebutuhan layanan digital yang responsif, seiring dengan ekspektasi pelanggan dan tim operasional terhadap akses informasi secara instan.
"Streamhouse memberikan tim landasan yang terus diperbarui dan terkelola untuk konteks tersebut, sehingga aplikasi dan agen dapat bekerja berdasarkan gambaran terkini yang sama," kata Greg.
Ia menambahkan, arsitektur tersebut membantu perusahaan memanfaatkan investasi data yang telah dimiliki untuk menghadirkan layanan berbasis AI yang lebih responsif dan relevan dengan kebutuhan operasional.
Confluent menjelaskan, kebutuhan terhadap Streamhouse muncul karena arsitektur data konvensional, seperti data lake, data warehouse, dan lakehouse, pada dasarnya dirancang untuk kebutuhan pelaporan maupun pemrosesan data secara batch.
Sementara itu, penggunaan agen AI di berbagai lini bisnis menuntut akses terhadap informasi yang terus diperbarui dari sejumlah sistem. Perbedaan waktu pembaruan data antarsistem berpotensi menimbulkan informasi yang tidak konsisten sehingga agen AI dapat mengambil keputusan berdasarkan kondisi yang sudah tidak relevan.
Sebagai ilustrasi, dalam operasional maskapai penerbangan, sistem pengelolaan pesawat, penjadwalan, dan pemesanan memiliki data yang diperbarui pada waktu berbeda. Kondisi tersebut dapat menyebabkan agen pemesanan menawarkan rencana perjalanan yang secara sistem terlihat memungkinkan, tetapi tidak dapat dijalankan karena pesawat mengalami keterlambatan.
Melalui Streamhouse, setiap perubahan, mulai dari lokasi pesawat, jadwal keberangkatan hingga ketersediaan kursi, dapat dihimpun menjadi konteks bisnis terkini yang dapat diakses secara bersamaan oleh agen pemesanan, layanan pelanggan, dan aplikasi terkait.
Dukungan implementasi di perusahaan global
Kepala Strategi Data SAI Accenture Thomas Mahaffey mengatakan perusahaan yang beroperasi di lebih dari 120 negara tersebut sebelumnya menghadapi kendala arsitektur pemrosesan data batch dan integrasi point-to-point yang menyebabkan pengulangan ekstraksi data serta keterlambatan informasi analitik.
Penerapan Streamhouse memungkinkan Accenture mengubah aliran peristiwa bervolume tinggi menjadi produk data real-time yang terkelola dan dapat digunakan kembali di berbagai sistem operasional maupun analitik.
Menurut Thomas, pendekatan tersebut juga mengurangi beban pengembang dalam membangun integrasi khusus dan mengelola perpindahan data secara terpisah.
"Fondasi data yang berkelanjutan ini telah mempersingkat waktu yang dibutuhkan untuk memperoleh wawasan dari berbulan-bulan menjadi beberapa hari serta memangkas waktu pelaporan, sehingga memberdayakan tim kami untuk fokus pada penyediaan AI bernilai tinggi bagi 800.000 karyawan kami," ujarnya.
Confluent menyebut Streamhouse dibangun berdasarkan tiga prinsip utama, yakni berbasis arus data, berorientasi pada kebutuhan operasional kritis, serta terdesentralisasi. Arsitektur tersebut melengkapi data warehouse dan lakehouse yang telah digunakan perusahaan dengan lapisan operasional real-time untuk mendukung pengambilan keputusan.
Direktur Bidang AI dan Arsitektur Extend Jonathan Kropp mengatakan penerapan Streamhouse berbasis Confluent Cloud membantu perusahaan mengatasi keterbatasan sistem antrean pesan tradisional dan data lake statis.
Platform perdagangan berbasis AI tersebut membutuhkan pemrosesan data secara cepat untuk mendukung proses pendaftaran pedagang, penyesuaian harga secara real-time, serta deteksi penipuan.
Menurut Jonathan, arsitektur Streamhouse memungkinkan layanan mikro mengakses dan melakukan kueri terhadap data secara asinkron, sekaligus menjaga konsistensi data dan mendukung alur kerja AI agenik secara real-time.
Confluent menjelaskan Platform Data Streaming menyediakan lima kemampuan utama untuk membangun Streamhouse, dengan Apache Kafka sebagai fondasi untuk menangkap dan mengalirkan peristiwa bisnis dari berbagai sistem.
Kelima kemampuan tersebut meliputi Stream untuk mengalirkan data melalui Apache Kafka dan mesin Kora, Connect untuk mengintegrasikan data menggunakan lebih dari 150 konektor, Process untuk mengolah dan memperkaya data menggunakan Apache Flink, Govern untuk mengelola keamanan dan tata kelola data, serta Query untuk menyediakan akses terhadap informasi terkini bagi aplikasi, agen AI, dan sistem analitik.
Pada kemampuan Query, Confluent menghadirkan tiga layanan, yakni Tableflow untuk menyalurkan data streaming ke lakehouse dan data warehouse, Real-Time Context Engine untuk menyediakan konteks bisnis kepada agen AI melalui Model Context Protocol (MCP), serta Lightning Tables untuk memberikan akses SQL dan API kepada aplikasi.
Sebagai bagian dari pengembangan Streamhouse, Confluent mengumumkan ketersediaan umum Lightning Tables di Confluent Cloud untuk layanan AWS.
Fitur tersebut merupakan lapisan penyajian data hanya-baca (read-only) yang mengubah data Apache Kafka menjadi tabel persisten dan terus diperbarui mengikuti perubahan informasi.
Berdasarkan pengujian internal Confluent, Lightning Tables mampu menyajikan data baru dalam waktu sekitar 100 milidetik, dengan latensi kueri berkisar 10–100 milidetik dan kapasitas pemrosesan lebih dari 1.000 kueri per detik.
Selain mendukung akses melalui SQL dan API, fitur tersebut dirancang untuk mengurangi biaya dan kompleksitas infrastruktur dengan menghilangkan kebutuhan pipeline ekstraksi, transformasi, dan pemuatan (ETL), basis data, maupun cache terpisah.
Lightning Tables juga mendukung tata kelola data terpadu, pengelolaan perubahan skema, serta penyimpanan fitur untuk kebutuhan pembelajaran mesin dan personalisasi secara real-time.
General Manager Confluent and Data IBM Shaun Clowes mengatakan pengembangan Streamhouse ditujukan untuk memastikan agen AI dan aplikasi memiliki akses terhadap kondisi bisnis terkini ketika menjalankan tugas.
Ia menambahkan, kemampuan tersebut memungkinkan perusahaan merespons sinyal penipuan lebih cepat, meningkatkan pelayanan pelanggan, dan menjalankan operasional berdasarkan informasi terkini.
