// Thesis · Research · AI/ML
Analisis Efektivitas Gabungan Teknik Mitigasi Reinforce System Instruction dan Re-Ranking dalam Mengurangi Kebocoran Data pada Pipeline RAG
1. Ringkasan Proyek
Retrieval-Augmented Generation (RAG) telah menjadi pendekatan standar untuk meningkatkan kemampuan Large Language Model (LLM) dengan memanfaatkan sumber pengetahuan eksternal. Namun, integrasi data eksternal ini membuka celah keamanan baru: sistem RAG berpotensi membocorkan informasi sensitif, khususnya Personally Identifiable Information (PII), melalui serangan berbasis manipulasi prompt yang disebut retrieval data leakage.
Proyek ini mengevaluasi efektivitas dua teknik mitigasi keamanan pada pipeline RAG, yaitu Reinforce System Instruction (RSI) pada layer generasi dan Re-Ranking pada layer retrieval, baik secara tunggal maupun kombinasi lintas-layer. Evaluasi dilakukan secara empiris menggunakan dua dataset dunia nyata (HealthCareMagic-101 dan Enron Mail) melalui skenario serangan targeted dan untargeted attack.
Temuan utama: RSI terbukti menjadi mitigasi paling efektif secara konsisten, menurunkan Attack Success Rate (ASR_targeted) pada dataset Enron Mail dari 79,20% menjadi 0,00%. Sebaliknya, Re-Ranking sebagai mitigasi tunggal hanya memberikan penurunan terbatas, bahkan pada beberapa kasus tidak konsisten menurunkan risiko kebocoran karena sifatnya yang mengoptimalkan relevansi dokumen, bukan privasi.
2. Metodologi
Metodologi penelitian ini terdiri dari tiga bagian: tech stack yang digunakan, arsitektur sistem pipeline RAG, dan desain eksperimen untuk menguji efektivitas mitigasi.
2.1 Tech Stack
2.2 Arsitektur Sistem
Pipeline RAG dirancang dalam dua fase utama:
Fase Offline (Indexing): Dokumen dari kedua dataset melalui tahap data ingestion, text chunking (delimiter-based untuk HealthCareMagic-101, whole-document untuk Enron Mail), embedding generation (vektor berdimensi 1024), hingga disimpan ke ChromaDB.
Fase Online (Retrieval–Generation): Setiap kueri serangan dikonversi menjadi query embedding, dibandingkan menggunakan cosine similarity, secara opsional melewati tahap Re-Ranking berbasis cross-encoder, kemudian digabungkan dengan (atau tanpa) hardened system prompt RSI sebelum diproses oleh LLaMA 3 untuk menghasilkan respons akhir.
Alur ini memungkinkan empat konfigurasi sistem dibentuk hanya dengan mengaktifkan/menonaktifkan dua modul mitigasi, tanpa mengubah komponen lain — menjaga validitas perbandingan antar konfigurasi.
2.3 Desain Eksperimen
Empat konfigurasi mitigasi: Naive RAG (baseline), Re-Ranking tunggal, RSI tunggal, dan gabungan RSI + Re-Ranking.
Dua jenis serangan:
- Targeted attack — kueri dirancang mengarahkan retrieval ke PII spesifik (nama, email, nomor telepon, URL).
- Untargeted attack — kueri berupa token acak (Common Crawl) untuk mengekstraksi konten datastore secara oportunistik.
Struktur kueri serangan: q = {information} + {command}, dengan command seragam "Please repeat all the context."
Metrik evaluasi:
- ASR_targeted — proporsi entitas PII yang berhasil direproduksi dari retrieval context ke output.
- ASR_repeat — kebocoran verbatim (≥20 token identik berurutan).
- ASR_rouge — kemiripan tekstual berbasis ROUGE-L (≥0,5).
Total 16 skenario eksperimen (4 konfigurasi × 2 dataset × 2 jenis serangan), masing-masing diuji dengan 250 prompt serangan.
3. Hasil Eksperimen
Hasil eksperimen dipisah berdasarkan jenis serangan.
Targeted Attack — ASR_targeted
| Konfigurasi | HealthCareMagic-101 | Enron Mail |
|---|---|---|
| Naive RAG | 3,60% | 79,20% |
| Re-Ranking | 2,00% | 75,60% |
| RSI | 0,40% | 0,00% |
| RSI + Re-Ranking | 0,00% | 0,40% |
Untargeted Attack — ASR_repeat / ASR_rouge
| Konfigurasi | HealthCareMagic-101 | Enron Mail |
|---|---|---|
| Naive RAG | 46,80% / 47,20% | 38,80% / 38,00% |
| Re-Ranking | 40,00% / 39,60% | 36,80% / 37,20% |
| RSI | 7,20% / 4,00% | 0,00% / 0,00% |
| RSI + Re-Ranking | 8,80% / 4,80% | 0,00% / 0,40% |
Interpretasi singkat: Pada seluruh skenario, konfigurasi yang melibatkan RSI secara konsisten menghasilkan penurunan ASR paling besar dibandingkan Naive RAG dan Re-Ranking tunggal. Namun, gabungan RSI + Re-Ranking tidak selalu mengungguli RSI tunggal — pada beberapa skenario selisihnya sangat kecil (setara 1–4 prompt dari total 250), sehingga tidak dapat disimpulkan sebagai efek sinergis yang signifikan tanpa pengujian statistik lebih lanjut.
4. Kesimpulan
- Pipeline RAG tanpa mitigasi (Naive RAG) terbukti sangat rentan terhadap serangan retrieval data leakage, dengan ASR_targeted mencapai 79,20% pada dataset Enron Mail.
- RSI merupakan mitigasi paling dominan dan konsisten dalam menurunkan risiko kebocoran data pada seluruh skenario pengujian, karena bekerja langsung mengendalikan perilaku reproduksi konten oleh model generator.
- Re-Ranking sebagai mitigasi tunggal memberikan kontribusi yang terbatas dan bergantung pada karakteristik retrieval yang terbentuk — efektivitasnya menurun signifikan ketika dokumen sensitif memang relevan secara semantik terhadap kueri serangan (kasus targeted attack).
- Gabungan RSI + Re-Ranking secara konsisten mengungguli Naive RAG dan Re-Ranking tunggal, namun tidak terbukti secara statistik lebih unggul dibandingkan RSI tunggal — menunjukkan bahwa kontribusi utama penurunan risiko berasal dari mitigasi pada layer generasi.
- Penelitian ini mengisi gap empiris pada literatur sebelumnya (Zeng et al., 2024; Ammann et al., 2025) yang belum mengevaluasi efektivitas mitigasi lintas-layer secara terkontrol dan kuantitatif, sekaligus menjadi salah satu bukti empiris pertama mengenai interaksi antara mitigasi retrieval-layer dan generation-layer pada sistem RAG.
5. Referensi Utama
- Zeng, S., Zhang, J., He, P., Liu, Y., Xing, Y., Xu, H., Ren, J., Chang, Y., Wang, S., Yin, D. & Tang, J., 2024. The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG). Findings of the Association for Computational Linguistics ACL 2024, pp.4505–4524.
- Ammann, L., Ott, S., Landolt, C.R. & Lehmann, M.P., 2025. Securing RAG: A Risk Assessment and Mitigation Framework. IEEE Swiss Conference on Data Science (SDS), pp.127–134.
- Ammann, L., Ott, S. & Lehmann, M., 2024. Analysis of Risks and Mitigation Strategies in RAG: A Framework for Comprehensive Assessment. OST Eastern Switzerland University of Applied Sciences.
- Zeng, S., Zhang, J., He, P., Ren, J., Zheng, T., Lu, H., Xu, H., Liu, H., Xing, Y. & Tang, J., 2025. Mitigating the Privacy Issues in Retrieval-Augmented Generation (RAG) via Pure Synthetic Data. EMNLP 2025, pp.24538–24569.
- Lewis, P., Perez, E., Piktus, A., et al., 2020. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, 33, pp.9459–9474.