Bilah Samping Artikel
Telah diserahkan
Sep 18, 2023
Diterima
Oct 23, 2023
Diterbitkan
Oct 30, 2023
Download
Statistic
Read Counter : 546
Download : 346
Isi Artikel Utama
Abstrak
Tuli menempati peringkat keempat dalam statistik penyandang disabilitas di Indonesia dengan persentase sebesar 7,03%. Mereka menggunakan bahasa isyarat untuk berkomunikasi, baik itu dengan sesama penyandang tuli maupun individu yang tidak memiliki masalah pendengaran. Namun, kendala muncul karena sebagian kecil individu tanpa masalah pendengaran yang menguasai bahasa isyarat, khususnya Sistem Isyarat Bahasa Indonesia (SIBI). Akibatnya, berkomunikasi dengan penyandang tuli bisa menjadi tantangan. Penelitian ini memiliki tujuan untuk mengklasifikasikan alfabet pada SIBI, dengan pengecualian huruf J dan Z, yang terdiri dari total 24 kelas. Pendekatan klasifikasi ini dilakukan melalui perbandingan tiga arsitektur Convolutional Neural Network (CNN): MobileNetV2, MobileNetV3Small, dan MobileNetV3Large. Penelitian ini bermaksud menentukan arsitektur yang paling optimal. Hasil penelitian menunjukkan bahwa MobileNetV3Small menghasilkan model yang paling baik. Dalam pengujian menggunakan data tes, model ini mencapai akurasi sebesar 98,81% dengan menggunakan batchsize 32 dan menjalankan proses pelatihan selama 30 epoch.
Kata Kunci
Bahasa Isyarat
CNN
SIBI
Klasifikasi
MobileNetV2
MobileNetV3
Rincian Artikel
Cara Mengutip
[1]
I. J. Thira, D. Riana, A. N. Ilhami, B. R. S. Dwinanda, dan H. Choerunisya, “Pengenalan Alfabet Sistem Isyarat Bahasa Indonesia (SIBI) Menggunakan Convolutional Neural Network”, Jurnal Algoritma, vol. 20, no. 2, hlm. 421–432, Okt 2023.
References
-
[1] A. Harpini, “Infodatin Tunarungu 2019.” Kementerian Kesehatan RI, Jakarta, p. 12, 2019, [Online]. Available: https://pusdatin.kemkes.go.id/resources/download/pusdatin/infodatin/infodatin-tunarungu-2019.pdf.
[2] T. Handhika, R. I. M. Zen, Murni, D. P. Lestari, and I. Sari, “Gesture recognition for Indonesian Sign Language (BISINDO),” J. Phys. Conf. Ser., vol. 1028, no. 1, 2018, doi: 10.1088/1742-6596/1028/1/012173.
[3] A. R. Syulistyo, D. S. Hormansyah, and P. Y. Saputra, “SIBI (Sistem Isyarat Bahasa Indonesia) translation using Convolutional Neural Network (CNN),” IOP Conf. Ser. Mater. Sci. Eng., vol. 732, no. 1, 2020, doi: 10.1088/1757-899X/732/1/012082.
[4] R. I. Borman, B. Priyopradono, and A. R. Syah, “Klasifikasi Objek Kode Tangan pada Pengenalan Isyarat Alphabet Bahasa Isyarat Indonesia (BISINDO),” no. September, pp. 1”“4, 2018, doi: 10.31227/osf.io/c7v2z.
[5] A. A. Gafar and J. Y. Sari, “Sistem Pengenalan Bahasa Isyarat Indonesia dengan Menggunakan Metode Fuzzy K-Nearest Neighbor,” J. Ultim., vol. 9, no. 2, pp. 122”“128, 2018, doi: 10.31937/ti.v9i2.671.
[6] A. D. Saputra, F. I. Komputer, U. Pembangunan, N. Veteran, and T. Matching, “Klasifikasi Alfabet Bahasa Isyarat Indonesia ( Bisindo ) Dengan Metode Template Matching Dan K-Nearest Neighbors ( Knn ),” Semin. Nas. Mhs. Bid. Komput. dan Apl., pp. 747”“760, 2020.
[7] C. V. Angkoso, M. Fuad, and D. R. Hadiwineka, “Pengenalan Abjad Sistem Isyarat Bahasa Indonesia (Sibi) Berbasis Kamera Depth,” Link, vol. 24, no. 1, p. 6, 2018, doi: 10.31090/link.v24i1.4.
[8] R. Ridwang, “Pengenalan Bahasa Isyarat Indonesia (SIBI) Menggunakan Leap Motion Controller dan Algoritma Data Mining Naïve Bayes,” J. Insypro (Information Syst. Process., vol. 2, no. 2, 2017, doi: 10.24252/insypro.v2i2.4070.
[9] T. Handhika, D. P. Lestari, I. Sari, R. I. M. Zen, and Murni, “The generalized learning vector quantization model to recognize Indonesian sign language (BISINDO),” Proc. 3rd Int. Conf. Informatics Comput. ICIC 2018, 2018, doi: 10.1109/IAC.2018.8780485.
[10] A. Aljabar and Suharjito, “BISINDO (Bahasa isyarat indonesia) sign language recognition using CNN and LSTM,” Adv. Sci. Technol. Eng. Syst., vol. 5, no. 5, pp. 282”“287, 2020, doi: 10.25046/AJ050535.
[11] V. Sharma, K. Gupta, and D. K. Singh, “Sign Language Detection Using Image Processing,” Int. J. Adv. Res. Sci. Commun. Technol., pp. 100”“103, 2021, doi: 10.48175/ijarsct-836.
[12] S. Hossain, D. Sarma, T. Mittra, M. N. Alam, I. Saha, and F. T. Johora, “Bengali Hand Sign Gestures Recognition using Convolutional Neural Network,” Proc. 2nd Int. Conf. Inven. Res. Comput. Appl. ICIRCA 2020, pp. 636”“641, 2020, doi: 10.1109/ICIRCA48905.2020.9183357.
[13] T. M. Angona et al., “Automated bangla sign language translation system for alphabets by means of MobileNet,” Telkomnika (Telecommunication Comput. Electron. Control., vol. 18, no. 3, pp. 1292”“1301, 2020, doi: 10.12928/TELKOMNIKA.V18I3.15311.
[14] K. Y. Lum, Y. H. Goh, and Y. Bin Lee, “American sign language recognition based on MobileNetV2,” Adv. Sci. Technol. Eng. Syst., vol. 5, no. 6, pp. 481”“488, 2020, doi: 10.25046/aj050657.
[15] M. R. R. Allaam and A. T. Wibowo, “KLASIFIKASI GENUS TANAMAN ANGGREK MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK ( CNN ) Program Studi Sarjana Informatika Fakultas Informatika Universitas Telkom Bandung,” vol. 8, no. 2, pp. 3147”“3179, 2021.
[16] R. Faurina, E. P. Purwandari, M. T. Pratama, and I. Agustian, “Klasifikasi Level Non-Proliferatif Retinopati Diabetik Dengan Ensemble Convolutional Neural Network,” Pseudocode, vol. 8, no. 1, pp. 1”“10, 2021, doi: 10.33369/pseudocode.8.1.1-10.
[17] A. Howard et al., “Searching for mobileNetV3,” Proc. IEEE Int. Conf. Comput. Vis., vol. 2019-Octob, pp. 1314”“1324, 2019, doi: 10.1109/ICCV.2019.00140.
[18] I. Mutmainnah, “Mengenal Pandas dalam Python,” www.medium.com, 2019. https://medium.com/@16611092/mengenal-pandas-dalam-python-cc66d0c5ea40 (accessed Jul. 28, 2021).
[19] D. DARMATASIA, “Pengenalan Sistem Isyarat Bahasa Indonesia (Sibi) Menggunakan Gradient-Convolutional Neural Network,” J. INSTEK (Informatika Sains dan Teknol., vol. 6, no. 1, p. 56, 2021, doi: 10.24252/instek.v6i1.18637.
[20] D. Yolanda, K. Gunadi, and E. Setyati, “Pengenalan Alfabet Bahasa Isyarat Tangan Secara Real- Time dengan Menggunakan Metode Convolutional Neural Network dan Recurrent Neural Network,” Infra, vol. 8, no. 1, pp. 203”“208, 2020.
[21] M. Bagus, S. Bakti, and Y. M. Pranoto, “Pengenalan Angka Sistem Isyarat Bahasa Indonesia Dengan Menggunakan Metode Convolutional Neural Network,” Semin. Nas. Inov. Teknol., pp. 11”“16, 2019.
References
[1] A. Harpini, “Infodatin Tunarungu 2019.” Kementerian Kesehatan RI, Jakarta, p. 12, 2019, [Online]. Available: https://pusdatin.kemkes.go.id/resources/download/pusdatin/infodatin/infodatin-tunarungu-2019.pdf.
[2] T. Handhika, R. I. M. Zen, Murni, D. P. Lestari, and I. Sari, “Gesture recognition for Indonesian Sign Language (BISINDO),” J. Phys. Conf. Ser., vol. 1028, no. 1, 2018, doi: 10.1088/1742-6596/1028/1/012173.
[3] A. R. Syulistyo, D. S. Hormansyah, and P. Y. Saputra, “SIBI (Sistem Isyarat Bahasa Indonesia) translation using Convolutional Neural Network (CNN),” IOP Conf. Ser. Mater. Sci. Eng., vol. 732, no. 1, 2020, doi: 10.1088/1757-899X/732/1/012082.
[4] R. I. Borman, B. Priyopradono, and A. R. Syah, “Klasifikasi Objek Kode Tangan pada Pengenalan Isyarat Alphabet Bahasa Isyarat Indonesia (BISINDO),” no. September, pp. 1”“4, 2018, doi: 10.31227/osf.io/c7v2z.
[5] A. A. Gafar and J. Y. Sari, “Sistem Pengenalan Bahasa Isyarat Indonesia dengan Menggunakan Metode Fuzzy K-Nearest Neighbor,” J. Ultim., vol. 9, no. 2, pp. 122”“128, 2018, doi: 10.31937/ti.v9i2.671.
[6] A. D. Saputra, F. I. Komputer, U. Pembangunan, N. Veteran, and T. Matching, “Klasifikasi Alfabet Bahasa Isyarat Indonesia ( Bisindo ) Dengan Metode Template Matching Dan K-Nearest Neighbors ( Knn ),” Semin. Nas. Mhs. Bid. Komput. dan Apl., pp. 747”“760, 2020.
[7] C. V. Angkoso, M. Fuad, and D. R. Hadiwineka, “Pengenalan Abjad Sistem Isyarat Bahasa Indonesia (Sibi) Berbasis Kamera Depth,” Link, vol. 24, no. 1, p. 6, 2018, doi: 10.31090/link.v24i1.4.
[8] R. Ridwang, “Pengenalan Bahasa Isyarat Indonesia (SIBI) Menggunakan Leap Motion Controller dan Algoritma Data Mining Naïve Bayes,” J. Insypro (Information Syst. Process., vol. 2, no. 2, 2017, doi: 10.24252/insypro.v2i2.4070.
[9] T. Handhika, D. P. Lestari, I. Sari, R. I. M. Zen, and Murni, “The generalized learning vector quantization model to recognize Indonesian sign language (BISINDO),” Proc. 3rd Int. Conf. Informatics Comput. ICIC 2018, 2018, doi: 10.1109/IAC.2018.8780485.
[10] A. Aljabar and Suharjito, “BISINDO (Bahasa isyarat indonesia) sign language recognition using CNN and LSTM,” Adv. Sci. Technol. Eng. Syst., vol. 5, no. 5, pp. 282”“287, 2020, doi: 10.25046/AJ050535.
[11] V. Sharma, K. Gupta, and D. K. Singh, “Sign Language Detection Using Image Processing,” Int. J. Adv. Res. Sci. Commun. Technol., pp. 100”“103, 2021, doi: 10.48175/ijarsct-836.
[12] S. Hossain, D. Sarma, T. Mittra, M. N. Alam, I. Saha, and F. T. Johora, “Bengali Hand Sign Gestures Recognition using Convolutional Neural Network,” Proc. 2nd Int. Conf. Inven. Res. Comput. Appl. ICIRCA 2020, pp. 636”“641, 2020, doi: 10.1109/ICIRCA48905.2020.9183357.
[13] T. M. Angona et al., “Automated bangla sign language translation system for alphabets by means of MobileNet,” Telkomnika (Telecommunication Comput. Electron. Control., vol. 18, no. 3, pp. 1292”“1301, 2020, doi: 10.12928/TELKOMNIKA.V18I3.15311.
[14] K. Y. Lum, Y. H. Goh, and Y. Bin Lee, “American sign language recognition based on MobileNetV2,” Adv. Sci. Technol. Eng. Syst., vol. 5, no. 6, pp. 481”“488, 2020, doi: 10.25046/aj050657.
[15] M. R. R. Allaam and A. T. Wibowo, “KLASIFIKASI GENUS TANAMAN ANGGREK MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK ( CNN ) Program Studi Sarjana Informatika Fakultas Informatika Universitas Telkom Bandung,” vol. 8, no. 2, pp. 3147”“3179, 2021.
[16] R. Faurina, E. P. Purwandari, M. T. Pratama, and I. Agustian, “Klasifikasi Level Non-Proliferatif Retinopati Diabetik Dengan Ensemble Convolutional Neural Network,” Pseudocode, vol. 8, no. 1, pp. 1”“10, 2021, doi: 10.33369/pseudocode.8.1.1-10.
[17] A. Howard et al., “Searching for mobileNetV3,” Proc. IEEE Int. Conf. Comput. Vis., vol. 2019-Octob, pp. 1314”“1324, 2019, doi: 10.1109/ICCV.2019.00140.
[18] I. Mutmainnah, “Mengenal Pandas dalam Python,” www.medium.com, 2019. https://medium.com/@16611092/mengenal-pandas-dalam-python-cc66d0c5ea40 (accessed Jul. 28, 2021).
[19] D. DARMATASIA, “Pengenalan Sistem Isyarat Bahasa Indonesia (Sibi) Menggunakan Gradient-Convolutional Neural Network,” J. INSTEK (Informatika Sains dan Teknol., vol. 6, no. 1, p. 56, 2021, doi: 10.24252/instek.v6i1.18637.
[20] D. Yolanda, K. Gunadi, and E. Setyati, “Pengenalan Alfabet Bahasa Isyarat Tangan Secara Real- Time dengan Menggunakan Metode Convolutional Neural Network dan Recurrent Neural Network,” Infra, vol. 8, no. 1, pp. 203”“208, 2020.
[21] M. Bagus, S. Bakti, and Y. M. Pranoto, “Pengenalan Angka Sistem Isyarat Bahasa Indonesia Dengan Menggunakan Metode Convolutional Neural Network,” Semin. Nas. Inov. Teknol., pp. 11”“16, 2019.
[2] T. Handhika, R. I. M. Zen, Murni, D. P. Lestari, and I. Sari, “Gesture recognition for Indonesian Sign Language (BISINDO),” J. Phys. Conf. Ser., vol. 1028, no. 1, 2018, doi: 10.1088/1742-6596/1028/1/012173.
[3] A. R. Syulistyo, D. S. Hormansyah, and P. Y. Saputra, “SIBI (Sistem Isyarat Bahasa Indonesia) translation using Convolutional Neural Network (CNN),” IOP Conf. Ser. Mater. Sci. Eng., vol. 732, no. 1, 2020, doi: 10.1088/1757-899X/732/1/012082.
[4] R. I. Borman, B. Priyopradono, and A. R. Syah, “Klasifikasi Objek Kode Tangan pada Pengenalan Isyarat Alphabet Bahasa Isyarat Indonesia (BISINDO),” no. September, pp. 1”“4, 2018, doi: 10.31227/osf.io/c7v2z.
[5] A. A. Gafar and J. Y. Sari, “Sistem Pengenalan Bahasa Isyarat Indonesia dengan Menggunakan Metode Fuzzy K-Nearest Neighbor,” J. Ultim., vol. 9, no. 2, pp. 122”“128, 2018, doi: 10.31937/ti.v9i2.671.
[6] A. D. Saputra, F. I. Komputer, U. Pembangunan, N. Veteran, and T. Matching, “Klasifikasi Alfabet Bahasa Isyarat Indonesia ( Bisindo ) Dengan Metode Template Matching Dan K-Nearest Neighbors ( Knn ),” Semin. Nas. Mhs. Bid. Komput. dan Apl., pp. 747”“760, 2020.
[7] C. V. Angkoso, M. Fuad, and D. R. Hadiwineka, “Pengenalan Abjad Sistem Isyarat Bahasa Indonesia (Sibi) Berbasis Kamera Depth,” Link, vol. 24, no. 1, p. 6, 2018, doi: 10.31090/link.v24i1.4.
[8] R. Ridwang, “Pengenalan Bahasa Isyarat Indonesia (SIBI) Menggunakan Leap Motion Controller dan Algoritma Data Mining Naïve Bayes,” J. Insypro (Information Syst. Process., vol. 2, no. 2, 2017, doi: 10.24252/insypro.v2i2.4070.
[9] T. Handhika, D. P. Lestari, I. Sari, R. I. M. Zen, and Murni, “The generalized learning vector quantization model to recognize Indonesian sign language (BISINDO),” Proc. 3rd Int. Conf. Informatics Comput. ICIC 2018, 2018, doi: 10.1109/IAC.2018.8780485.
[10] A. Aljabar and Suharjito, “BISINDO (Bahasa isyarat indonesia) sign language recognition using CNN and LSTM,” Adv. Sci. Technol. Eng. Syst., vol. 5, no. 5, pp. 282”“287, 2020, doi: 10.25046/AJ050535.
[11] V. Sharma, K. Gupta, and D. K. Singh, “Sign Language Detection Using Image Processing,” Int. J. Adv. Res. Sci. Commun. Technol., pp. 100”“103, 2021, doi: 10.48175/ijarsct-836.
[12] S. Hossain, D. Sarma, T. Mittra, M. N. Alam, I. Saha, and F. T. Johora, “Bengali Hand Sign Gestures Recognition using Convolutional Neural Network,” Proc. 2nd Int. Conf. Inven. Res. Comput. Appl. ICIRCA 2020, pp. 636”“641, 2020, doi: 10.1109/ICIRCA48905.2020.9183357.
[13] T. M. Angona et al., “Automated bangla sign language translation system for alphabets by means of MobileNet,” Telkomnika (Telecommunication Comput. Electron. Control., vol. 18, no. 3, pp. 1292”“1301, 2020, doi: 10.12928/TELKOMNIKA.V18I3.15311.
[14] K. Y. Lum, Y. H. Goh, and Y. Bin Lee, “American sign language recognition based on MobileNetV2,” Adv. Sci. Technol. Eng. Syst., vol. 5, no. 6, pp. 481”“488, 2020, doi: 10.25046/aj050657.
[15] M. R. R. Allaam and A. T. Wibowo, “KLASIFIKASI GENUS TANAMAN ANGGREK MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK ( CNN ) Program Studi Sarjana Informatika Fakultas Informatika Universitas Telkom Bandung,” vol. 8, no. 2, pp. 3147”“3179, 2021.
[16] R. Faurina, E. P. Purwandari, M. T. Pratama, and I. Agustian, “Klasifikasi Level Non-Proliferatif Retinopati Diabetik Dengan Ensemble Convolutional Neural Network,” Pseudocode, vol. 8, no. 1, pp. 1”“10, 2021, doi: 10.33369/pseudocode.8.1.1-10.
[17] A. Howard et al., “Searching for mobileNetV3,” Proc. IEEE Int. Conf. Comput. Vis., vol. 2019-Octob, pp. 1314”“1324, 2019, doi: 10.1109/ICCV.2019.00140.
[18] I. Mutmainnah, “Mengenal Pandas dalam Python,” www.medium.com, 2019. https://medium.com/@16611092/mengenal-pandas-dalam-python-cc66d0c5ea40 (accessed Jul. 28, 2021).
[19] D. DARMATASIA, “Pengenalan Sistem Isyarat Bahasa Indonesia (Sibi) Menggunakan Gradient-Convolutional Neural Network,” J. INSTEK (Informatika Sains dan Teknol., vol. 6, no. 1, p. 56, 2021, doi: 10.24252/instek.v6i1.18637.
[20] D. Yolanda, K. Gunadi, and E. Setyati, “Pengenalan Alfabet Bahasa Isyarat Tangan Secara Real- Time dengan Menggunakan Metode Convolutional Neural Network dan Recurrent Neural Network,” Infra, vol. 8, no. 1, pp. 203”“208, 2020.
[21] M. Bagus, S. Bakti, and Y. M. Pranoto, “Pengenalan Angka Sistem Isyarat Bahasa Indonesia Dengan Menggunakan Metode Convolutional Neural Network,” Semin. Nas. Inov. Teknol., pp. 11”“16, 2019.