PERANCANGAN DAN EVALUASI SISTEM INFORMASI PERINGKASAN OTOMATIS DOKUMEN POK KEUANGAN BERBASIS BART

DESIGN AND EVALUATION OF AN INFORMATION SYSTEM FOR AUTOMATIC SUMMARIZATION OF FINANCIAL POK DOCUMENTS USING THE BART MODEL

Abstract

Peningkatan volume dokumen keuangan pemerintah daerah menyebabkan proses pencarian informasi menjadi semakin kompleks, khususnya pada Dokumen Petunjuk Operasional Kegiatan (POK) yang memiliki struktur semi-terstruktur dan kepadatan entitas numerik tinggi. Penelitian ini bertujuan merancang dan mengevaluasi sistem informasi peringkasan otomatis dokumen POK keuangan menggunakan model Bidirectional and Auto-Regressive Transformers (BART). Tahapan penelitian meliputi preprocessing dokumen, tokenisasi, penerapan mekanisme chunking untuk menangani dokumen panjang, fine-tuning model, serta evaluasi menggunakan metrik ROUGE dan analisis inferensi. Dataset penelitian terdiri dari dokumen POK keuangan pemerintah daerah berbahasa Indonesia yang dikonversi menjadi pasangan document-summary. Hasil pengujian menunjukkan bahwa model memperoleh ROUGE-1 sebesar 0,8971, ROUGE-2 sebesar 0,8916, ROUGE-L sebesar 0,9021, dan ROUGE-Lsum sebesar 0,9008 dengan rata-rata latensi inferensi sekitar 0,612 detik per dokumen. Selain itu, mekanisme chunkingmampu mempertahankan kualitas ringkasan tanpa memberikan pengaruh signifikan terhadap performa inferensi. Penelitian ini juga menunjukkan bahwa evaluasi berbasis ROUGE pada dokumen finansial memiliki keterbatasan dalam menangkap ketepatan informasi numerik secara kontekstual. Hasil penelitian menunjukkan bahwa model BART memiliki potensi untuk diterapkan pada sistem pengelolaan dokumen keuangan pemerintah daerah.