Bilah Samping Artikel

Telah diserahkan
Nov 9, 2023
Diterima
Mar 25, 2024
Diterbitkan
May 18, 2024
Download
PDF
Statistic
Read Counter : 237 Download : 80

Isi Artikel Utama

Abstrak

Penerapan kecerdasan buatan, seperti Chat-GPT dan Bard, telah menjadi umum dalam berbagai aspek kehidupan saat ini. Salah satu aspek utamanya adalah dalam pemanfaatan model Question Answering (QA) untuk memenuhi kebutuhan domain spesifik. Namun, dalam beberapa kasus, model seperti Bard mungkin tidak dapat memberikan informasi spesifik, seperti prosedur pendaftaran di perusahaan tertentu atau jadwal dosen di universitas. Untuk mengatasi tantangan ini, telah dikembangkan model QA bahasa Indonesia bernama IndoBERT-QA. Penelitian ini bertujuan untuk mengevaluasi kemampuan IndoBERT-QA dalam konteks domain spesifik dengan menggunakan metode evaluasi Mean Reciprocal Rank (MRR). Hasil evaluasi menunjukkan bahwa model IndoBERT-QA mampu mencapai MRR sebesar 0.91 dengan pendekatan membuat konteks yang disesuaikan untuk setiap pertanyaan. Hasil ini menandakan bahwa model ini memiliki kinerja yang baik dalam memberikan jawaban yang relevan. Manfaat dari penelitian ini adalah sebagai acuan yang berharga bagi pengembangan sistem QA yang akan dibuat oleh pihak-pihak lain dalam lingkungan yang sama. Dengan memanfaatkan pendekatan yang telah diuji dan dievaluasi dengan baik, penelitian ini memberikan dasar yang kuat untuk pengembangan sistem QA berkinerja tinggi dalam bahasa Indonesia, sehingga dapat memenuhi kebutuhan domain spesifik. Disamping itu, penelitian ini juga memberikan pandangan untuk pengembangan lebih lanjut. Salah satu pendekatan yang dapat dieksplorasi adalah penggunaan Information Retrieval atau Passage Retrieval sebagai langkah awal dalam proses QA. Hal ini dapat membantu model dalam mendapatkan konteks yang lebih tepat dan relevan, sehingga memungkinkan peningkatan lebih lanjut dalam kualitas jawaban yang diberikan oleh model. Index Terms-BERT, Mean Reciprocal Rank, Question Answering Namun, penelitian ini juga memberikan pandangan untuk pengembangan lebih lanjut. Salah satu pendekatan yang dapat dieksplorasi adalah penggunaan Information Retrieval atau Passage Retrieval sebagai langkah awal dalam proses QA. Hal ini dapat membantu model dalam mendapatkan konteks yang lebih tepat dan relevan, sehingga memungkinkan peningkatan lebih lanjut dalam kualitas jawaban yang diberikan oleh model.

Kata Kunci

Index Terms-BERT Mean Reciprocal Rank Question Answering Index Terms-BERT Mean Reciprocal Rank Question Answering

Rincian Artikel

Cara Mengutip
[1]
T. I. Ramadhan, A. Supriatman, dan T. R. Kurniawan, “Evaluasi dan Implementasi Indobert Question Answering (QA) pada Domain Spesifik Menggunakan Mean Reciprocal Rank”, Jurnal Algoritma, vol. 21, no. 1, hlm. 180–188, Mei 2024.
Unduh Sitasi
Endnote/Zotero/Mendeley (RIS)

References

  1. B. Richardson and A. Wicaksana, “Comparison Of Indobert-Lite And Roberta In Text Mining For Indonesian Language Question Answering Applicationâ€.
  2. Z. A. Guven and M. O. Unalir, “Natural language based analysis of SQuAD: An analytical approach for BERT,†Expert Syst Appl, vol. 195, p. 116592, 2022.
  3. rifkybujana, “IndoBERT-QA.†2021.
  4. F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,†in Proceedings of the 28th COLING, 2020.
  5. S. Li, R. Li, and V. Peng, “Ensemble ALBERT on SQuAD 2.0,†arXiv preprint arXiv:2110.09665, 2021.
  6. M. I. Rahajeng and A. Purwarianti, “Indonesian Question Answering System for Factoid Questions using Face Beauty Products Knowledge Graph,†Jurnal Linguistik Komputasional, vol. 4, no. 2, pp. 59–63, 2021.
  7. S. Auer et al., “The SciQA Scientific Question Answering Benchmark for Scholarly Knowledge,†Sci Rep, vol. 13, no. 1, p. 7240, 2023.
  8. R. Etezadi and M. Shamsfard, “The state of the art in open domain complex question answering: a survey,†Applied Intelligence, vol. 53, no. 4, pp. 4124–4144, 2023.
  9. R. Kusumaningrum, A. F. Hanifah, K. Khadijah, S. N. Endah, and P. S. Sasongko, “Long Short-Term Memory for Non-Factoid Answer Selection in Indonesian Question Answering System for Health Information,†International Journal of Advanced Computer Science and Applications, vol. 14, no. 2, 2023.
  10. D. Demner-Fushman, Y. Mrabet, and A. Ben Abacha, “Consumer health information and question answering: helping consumers find answers to their health-related information needs,†Journal of the American Medical Informatics Association, vol. 27, no. 2, pp. 194–201, 2020.
  11. P. K. Roy, S. Saumya, J. P. Singh, S. Banerjee, and A. Gutub, “Analysis of community question-answering issues via machine learning and deep learning: State-of-the-art review,†CAAI Trans Intell Technol, vol. 8, no. 1, pp. 95–117, 2023.
  12. Y. Moriya and G. J. F. Jones, “Improving Noise Robustness for Spoken Content Retrieval Using Semi-Supervised ASR and N-Best Transcripts for BERT-Based Ranking Models,†in 2022 IEEE Spoken Language Technology Workshop (SLT), 2023, pp. 398–405.
  13. G. N. Ahmad and A. Romadhony, “End-to-End Question Answering System for Indonesian Documents Using TF-IDF and IndoBERT,†in 2023 10th International Conference on Advanced Informatics: Concept, Theory and Application (ICAICTA), 2023, pp. 1–6.
  14. OpenAI, “GPT-3.5 (ChatGPT).†2021. [Online]. Available: https://www.openai.com/
  15. Z. Abbasiantaeb and S. Momtazi, “Text-based question answering from information retrieval and deep neural network perspectives: A survey,†Wiley Interdiscip Rev Data Min Knowl Discov, vol. 11, no. 6, p. e1412, 2021.
  16. V. Karpukhin et al., “Dense passage retrieval for open-domain question answering,†arXiv preprint arXiv:2004.04906, 2020.