Pada post kali ini saya akan berbagi (secara populer) tentang penelitian saya bersama rekan – rekan dosen dan mahasiswa Teknik Elektro dan Internet of Thing UK Petra. Penelitian ini didanai oleh Hibah PTUPT (Penelitian Terapan Unggulan Perguruan Tinggi) – Dikti selama 3 tahun (2021 – 2023).
Latar belakang
Tingkat harapan hidup lansia di Indonesia makin tinggi dari tahun ke tahun. Di masa tuanya, sebagian lansia memilih untuk hidup sendiri di rumahnya, karena merasa tidak nyaman untuk tinggal di panti jompo atau hidup bersama anak – anak di rumah mereka. Namun demikian, saat lansia tinggal sendiri, ada beberapa resiko yang harus dihadapi: keamanan, kesehatan, dan kenyamanan untuk lansia tersebut. Pada penelitian ini, kami mengusulkan integrasi teknologi smart home, wearable device, dan mobile robot, untuk membantu lansia hidup mandiri.
Smart Home
Teknologi smart home yang kami kembangkan masih relatif sederhana. Adapun sensor dan aktuator yang kami gunakan:
- Sensor suhu, sensor gas, sensor cahaya
- Beberapa lampu (AC), kipas angin, buzzer
Masing – masing device kami hubungkan dengan sebuah IoT controller (Wemos D1 Mini) sehingga seluruh devices dapat terkoneksi ke internet. Lansia nantinya dapat mengawasi status sensor atau mengendalikan nyala matinya aktuator dari aplikasi mobile atau browser.
Fitur lain dari rumah cerdas kami ialah: deteksi pose otomatis menggunakan deep learning, khususnya algoritma YOLO v4 Tiny yang efisien. Sebelumnya dilakukan pengambilan gambar dengan kamera RGB yang diletakkan di dalam rumah, lalu dilakukan proses training pada laptop, dan model yang dihasilkan diletakkan di NVidia Jetson Nano sebagai edge controller untuk proses inferencing secara live.
Selain deteksi pose, kami juga melakukan proses estimasi lokasi secara sederhana dari lansia, yang nantinya dapat digunakan sebagai informasi lokasi oleh robot. Di sini digunakan sebuah depth camera (Intel Real Sense D435). Meskipun depth camera tidak terlalu bermanfaat dalam proses learning, namun dapat membantu dalam estimasi lokasi lansia.
Mobile Robot
Mobile robot yang kami gunakan ialah Ohmni Telepresence Robot dari OhmniLab. Robot ini memiliki kemampuan telepresence secara off the shelf, sehingga seseorang dapat menjalankan robot dari internet dan melakukan komunikasi langsung dengan orang lain. Namun tim kami menambahkan sebuah LIDAR sensor, sehingga robot dapat membuat peta melalui proses SLAM (Simultaneous Localization and Mapping) dan melakukan navigasi otonom berdasar peta yang dibuat. Kami memanfaatkan ROS (Robot Operating System) sebagai middleware robot.
Saat pose lansia abnormal (misal: tidur atau duduk di lantai), maka sistem akan memberi notifikasi ke caregiver, dan robot akan secara melakukan navigasi otonom ke dekat lokasi (terestimasi) lansia . Karena robot dilengkapi dengan microphone dan speaker, maka caregiver dapat mencoba berbicara langsung dengan lansia.
Wearable Device
Komponen terakhir dari sistem ini ialah wearable device (Samsung Galaxy Watch 4) yang dapat mendeteksi vital sign lansia. Untuk saat ini, kami hanya dapat mendeteksi denyut jantung dari lansia, serta beberapa sinyal sekunder lainnya (jumlah langkah, jumlah kalori yang dibakar). Saat denyut jantung lansia tidak normal (misalnya terlalu rendah) maka device akan mengirim notifikasi ke caregiver.
Sistem Terintegrasi
Kebaruan sistem kami ialah sifatnya yang terintegrasi, sehingga satu komponen sistem dapat berkomunikasi dengan komponen lainnya memanfaatkan protokol MQTT.
Hal ini misalnya nampak dari robot yang melakukan navigasi otonom saat sistem rumah cerdas melaporkan pose abnormal dari lansia.
Selain itu, kami mengembangkan aplikasi Android yang dapat memonitor semua bagian sistem (rumah cerdas, robot, dan wearable device). Aplikasi juga dapat melakukan pengendalian aktuator pada rumah cerdas dan menjalankan robot.
Penutup
Kami telah mengembangkan sistem terintegrasi yang terdiri dari rumah cerdas, mobile robot dan wearable device untuk membantu lansia hidup mandiri. Prototipe hardware sistem dan aplikasi Android telah kami buat untuk menunjukkan potensi sistem kami dalam membantu lansia.
Masih sangat banyak kekurangan yang dapat kami perbaiki ke depan, di antaranya:
- Lebih banyak mendengar kebutuhan lansia, dan mempertajam keunikan sistem untuk membantu lansia. Sampai saat ini, pengujian masih sangat banyak menggunakan subyek non-lansia.
- Pemanfaatan sistem rumah cerdas komersial memanfaatkan laboratorium IoT PCU (bekerja sama dengan vendor Handyman)
- Pemanfaatan algoritma selain YOLO untuk deteksi pose (perlu algoritma yang mendeteksi skeleton atau titik – titik penting dari tubuh manusia)
- Pemanfaatan sensor lain untuk melakukan estimasi lokasi (misal sensor UWB)
Sebagai akhir, saya sangat salut dengan tim mahasiswa kami yang brilliant: Sean Gondowardoyo, Andrew Wijayam dan Jason Halim. Semoga kalian meraih kesuksesan dalam karier ke depannya!
Terima kasih juga untuk mitra dosen: Dr. Indar Sugiarto, Petrus Santoso, M.Sc. (PCU) dan Dr Nazhatul Kamarudin (Universiti Kebangsaan Malaysia) untuk kerja sama dan kolaborasi yang baik.
Daftar publikasi dan paten sederhana
Adapun publikasi dan paten sederhana terkait penelitian kami dapat ditemukan di:
- Wicaksono, H., Santoso, P., Sugiarto, I., Gondowardoyo, S., Wijaya, A., Halim, J., Kamarudin, N. H., “The integrated smart system to assist elderly at home”, IAES International Journal of Artificial Intelligence, vol. 13, no. 4, December 2024 [open access: pdf]
- Wicaksono, H., Santoso, P., Sugiarto, I., Paten sederhana no. IDS000007983, “SISTEM PENGAWASAN LANSIA JARAK JAUH TERINTEGRASI”, Mei 2024
- Wicaksono, H., Sugiarto, I., Santoso, P., Ricardo, G. and Halim, J., 2022, December. Towards Autonomous Robot Application and Human Pose Detection for Elders Monitoring. In 2022 6th International Conference on Information Technology, Information Systems and Electrical Engineering (ICITISEE) (pp. 772-776). IEEE.
- Halim, J. and Wicaksono, H., 2022, December. A Deep Learning Approach for Basic Human Activity Recognition with YOLOv4-tiny. In 2022 6th International Conference on Information Technology, Information Systems and Electrical Engineering (ICITISEE) (pp. 541-546). IEEE.
- Wicaksono, H., Santoso, P., Sugiarto, I., Kristiyono, D., Wijaya, J. A. Application of Smart Home and Smartwatch to Assist Elders in Home Care Scenario in International Conference on Industrial, Enterprise, and System Engineering, December 2021
Catatan: posting ini pertama kali diterbitkan di blog teknologi saya https://learnautomation.wordpress.com/2024/11/05/research-sharing-sistem-cerdas-terintegrasi-untuk-membantu-lansia-hidup-mandiri/