Perjalanan Indonesia menuju Data-Driven Goverment
Indonesia dan AI
Seperti biasa ketika seorang komandan memberikan perintah ke pada ajudan nya maka hal tersebut harus di eksekusi se segera mungkin. Hal ini merupakan hal yang sangat wajar dilakukan. Terutama jika mandat tersebut berasal dari pimpinan tertinggi suatu negara.
Semua sekarang lagi terbawa dengan masalah Artificial Intelligence, Machine Learning dan Data Science. Momentum ini semakin diperkuat dengan mandat Presiden Jokowi yang memberikan bensin terhadap api yang sedang menyala.
Hal ini bisa menjadi awal dari kemajuan atau sebaliknya. Mari saya jelaskan mengapa hal tersebut menjadi pedang bermata dua. Mari kita telaah bersama-sama bagaimana membuat momentum ini menjadi sangat berharga bagi bangsa dan negara.
Perjalanan Karir dan Data
Perjalanan karir saya dimulai dengan menjadi software engineer yang berfokus di pembuatan aplikasi yang berhadapan dengan user secara langsung. Hal yang paling sederhana yang dapat dilakukan oleh data adalah membuat reporting. Report ini biasanya di print dan dianalisa atau digunakan sebagai arsip yang harus diberikan tanda tangan basah.
Tidak banyak insight yg dapat diambil dari sini. Hanya sekedar dokumen yang dibaca dan di interpretasikan oleh analyst dan departemen terkait.
Pelajaran dari Industri Perbankan
Ketika saya memasuki dunia baru yaitu perbankan, banyak hal yang sangat menarik dan cukup berbeda dengan domain yang sebelumnya pernah saya geluti. Saya diminta untuk bergabung sebagai Big Data Solution Architect Lead untuk membuat fondasi dari big data yang telah di buat roadmap nya selama 3 tahun.
Dari perjalanan itu saya sangat tercengang karena sangat banyak sekali data yang ada di dunia bank yang 70% diantara nya adalah structured data atau berbentuk table di dalam database.
Kesulitanya adalah masing-masing system yang adalah kita tidak dapat melakukan perubahan karena product yang digunakan adalah product komersil yang proprietary dan yang dapat kita lakukan adalah melakukan akses langsung ke database.
Hal ini harus dibarengi dengan Good Data Governance karena bank merupakan salah satu core dalam perekonomian yang di pantau secara khusus oleh OJK dan BI.
Jadi tidak boleh macam-macam dan semua harus punya standard yang jelas.
Big data yang ada di banking saya rasa kebanyakan menggunakan data at rest. Sehingga modelnya adalah menggunakan ELT ke Cloudera Data Hub yang berasal dari Hadoop Ecosystem.
Ada hal yang sangat menggelitik ketika saya mengamati team data scientist yang didatangkan dari USA. Dari hasil beberapa meeting saya mengetahui bahwa mereka orang yang brillliant. Tetapi mereka tidak melakukan apa-apa selama 3 bulan karena tidak ada data yang tersedia bagi mereka untuk di analisa. Sehingga mereka harus menunggu data engineer dulu untuk melakukan ingest data ke Data Lake.
Jadi pelajaran yang sangat bermafaat adalah
1. Sebelum menurunkan data scientist terlebih dahulu disiapkan data infrastructure dan data pipeline yang benar sehingga Data Scientist dapat bekerja dengan effective
2. Hindarkan ketergantungan terhadap satu vendor dan usahakan menggunakan open data standard
3. Diperlukan Data Governance yang baik untuk mengarahkan kapal besar seperti enterprise ke Analytics
Pelajaran dari Industri Oil and Gas
Jika dirujuk kembali maka pengalaman saya di dunia Oil and Gas sangat berkesan sekali dikarenakan keteraturan dari management data. Mungkin hal ini dapat dilakukan karena structure data yang sederhana.
Kebanyakan data yang di olah adalah data sensor dan document. Selain itu oil and gas memiliki open data standard yang disetujui oleh perusahaan oil dan service company. Saya pernah terlibat di dalam badan standard energistics sebagai technical kontributor sehingga mengetahui seluk beluk salah satu protocol yang menjadi standard untuk digunakan dalam data transfer.
Hal ini dibutuhkan karena project oil and gas merupakan project besar yang melibatkan banyak perusahaan dari hulu ke hilir. Sclumberger mungkin akan mengurusi masalah drilling, Halliburton mungkin mengurus masalah production dan visualization akan di handle oleh Petrolink. Supaya semuanya dapat berkomunikasi maka diperlukan data and transport standard. Hal ini juga sangat penting karena kita tidak ingin data kita di lock ke salah satu vendor saja.
Jadi pelajaran yang bermanfaat adalah
Buatlah data dan transport standard antara segmen yang ada dari hulu ke hilir sehingga data quality terjaga, semua memiliki pemahaman yang sama dan juga data tersebut dapat dipindahkan dari satu storage ke storage lain dengan standard API
Pelajaran dari kata.ai
kata.ai merupakan salah satu pioneer dalam bidang Conversational AI di Indonesia. Kita memiliki data yang sangat besar sekali dan dapat digunakan untuk banyak hal.
Kata pada saat ini sedang dalam perjalanan untuk mencapai Data-Driven Organization. Hal ini dapat dilihat dari perubahaan organisasi dan OKR.
Jika perusahaan ingin bergerak cepat maka sudut pandang Agile dan Data Driven haruslah dicapai sehingga keputusan yang diambil dapat adaptive, cepat dan tepat sesuai dengan data bukan dengan perasaan.
Untuk mencapai ke sana kami sadar bahwa perlu dibangun fondasi untuk Data Governance. Kita melakukan perjalanan itu secara iteratif.
Kami benar-benar mengerti jika kita ingin menerapkan AI dalam kehidupan sehari-hari kita memerlukan data governance yang baik. Tetapi data yang memiliki kualitas yang tinggi tentu saja harus dihasilkan dari aplikasi yang baik.
Nah tapi sekarang kita akan terjebak jika kita harus memulai dari bawah. Kita dapat memulai dengan Middle Out. Dimulai dari Good Data Governance dan Paralel ke Apps dan AI
Untuk sekarang kita dapat memulai dengan Dashboard dan Query Drill down atau bisa disebut Business Intelligence. Setelah itu kita bisa bergerak ke arah yang lebih advanced seperti Analytics.
Alerting juga dapat digunakan sebagai cara untuk mengingatkan kita jika terjadi kesalahan atau kemunduran planning sebelum waktunya. Hal ini bisa dicombine dengan predictive dan alerting.
Optimization sangat dibutuhkan dalam Operations Research dan juga Financial Engineering. Kita membutuhkan banyak pendanaan untuk melakukan pembangunan baik dari sisi infrastructure maupun SDM. Dengan demikian kita dapat membuat negara yang sejahtera dan tidak dililit oleh hutang yang tidak berkesudahan. Semua hal harus di optimalkan baik dari sisi resource, waktu dan scope pekerjaan.
SDM untuk Data Engineering
Agar dapat mewujudkan hal tersebut diatas maka diperlukan sumber daya manusia yang cakap dan memiliki kompetensi khusus nya dalam bidang data engineering. Kenapa data engineering ? Karena saya rasa fondasi yang ditetapkan sangatlah krusial terutama mengenai data management.
Data scientist tidak akan dapat bekerja jika tidak ada data yang di olah. Oleh karena itu diperlukan fondasi yang banyak untuk data engineering.
Oleh karena itu saya dan beberapa teman membuat satu kurikulum menjadi data engineering tanpa koding, dimana targetnya adalah anak-anak SMK. Dengan hanya bermodalkan SQL dan ETL Tools ( drag and drop ) maka mereka dapat mendapatkan pekerjaan. Setelah mereka mendapatkan gaji dari pekerjaan itu maka mereka dapat melanjutkan kuliah dan memperdalam data engineering dengan koding.
Data-Driven Government
“Dalam kehidupan, kita harus belajar merangkak, ke mudian berdiri, berjalan, berlari, dan pada akhirnya terbang. Kita tidak dapat merangkak dan langsung terbang. Tidak ada yang instan dalam hidup” ~ R.M.V
Saya pertama kali membaca kalimat bijak di atas dari senior saya di DeepTech yaitu Ferdinand Neman. Jika tidak salah ini adalah quote yang diberikan kepada orang-orang yang belajar pemrograman dengan Java.
Hal ini tentu saja dapat di aplikasikan di dalam penerapan AI di Indonesia.
Dengan pendekatan Middle Out kita memulai dengan menganalisa semua data source yang ada dan melakukan analisa terhadap struktur data dan menentukan standard untuk data format. Data-data tersebut kemudian di ingest ke dalam data lake dan di analisa oleh data scientist dan analyst.
Mereka akan melakukan exploratory data analysis ( EDA ) dan mencari pattern yang dapat di utillize dari data tersebut. Setelah mereka mencapai kesimpulan maka kita dapat melakukan standarisasi dan membuat data model untuk menampung hasil dari data extract yang masuk ke Data Lake.
Langkah ini terlihat sederhana tetapi merupakan hal yang cukup sullit untuk dilakukan. Karena saya yakin pasti data yang ada di pemerintahan adalah data hardcopy, digital dalam bentuk unstructured, semi structured dan structured data.
Kolaborasi Anak Bangsa
Untuk dapat membuat solusi AI yang tepat dan berguna untuk Bangsa Indonesia maka kita harus memulai dari dasar. Kita harus bersatu padu untuk melakukan ini karena sekarang adalah masa keemasan generasi kita.
Tentu saja tidak semua orang bisa menjadi data scientist dan menjadi AI engineer. Harus bagi-bagi tugas. Ada sebagian orang yang mengerjakan data engineering, ada yang berfokus di bidang infrastructure dan ada yang berfokus melakukan analisa terhadap data atau scientist. Jangan berusaha menjadi orang lain. Jadilah diri kamu sendiri.
Dan setelah itu barulah kita dapat menghasilkan data product yang memiliki kemampuan intelligence dan bermanfaat untuk bangsa. Jadi saya rasa engineering tetap merupakan ilmu yang dominan untuk dipelajari sekarang. Harapannya tetap bahwa kita tidak boleh silau dengan hype yang ada tetapi fokus kepada kemampuan dan kekuatan masing-masing.
Semua orang bisa berkontribusi bagi negara dalam hal apapun tidak hanya dengan AI. Selama kita masih hidup di dunia ini kita tetap dapat berkarya untuk nusa dan bangsa.
Jika anda tidak keberatan melakukan pekerjaan montir di bidang data mari bergabung dengan komunitas Data Engineering Indonesia.
Dari Anak Bangsa untuk Indonesia.
Bersama kita bisa !
Cheers