Memahami RAG III: Pengambilan Gabungan dan Penarafan Semula

Semak artikel sebelumnya dalam siri ini:

• Memahami RAG Bahagian I: Mengapa Ia Diperlukan

• Memahami RAG Bahagian II: Cara RAG Klasik Berfungsi

Setelah memperkenalkan apa itu RAG sebelum ini, mengapa ia penting dalam konteks Model Bahasa Besar (LLM) dan bagaimana rupa sistem penjana penjana semula klasik untuk RAG, siaran ketiga dalam siri "Memahami RAG" mengkaji pendekatan yang dipertingkatkan untuk membina sistem RAG: pengambilan gabungan.

Sebelum menyelam dalam, anda perlu menyemak semula secara ringkas skema RAG asas yang kami terokai dalam bahagian II siri ini.

Pengambilan Fusion Dijelaskan

Pendekatan pengambilan gabungan melibatkan gabungan atau pengagregatan pelbagai aliran maklumat semasa peringkat perolehan sistem RAG. Ingat bahawa semasa fasa perolehan semula, retriever -enjin perolehan maklumat- mengambil pertanyaan pengguna asal untuk LLM, mengekodnya ke dalam perwakilan berangka vektor dan menggunakannya untuk mencari dalam pangkalan pengetahuan yang luas untuk dokumen yang sangat sepadan dengan pertanyaan. Selepas itu, pertanyaan asal ditambah dengan menambah maklumat konteks tambahan yang terhasil daripada dokumen yang diambil, akhirnya menghantar input tambahan kepada LLM yang menjana respons.

Dengan menggunakan skema gabungan dalam peringkat perolehan semula, konteks yang ditambahkan di atas pertanyaan asal boleh menjadi lebih koheren dan relevan dari segi konteks, seterusnya menambah baik respons akhir yang dijana oleh LLM. Pendapatan gabungan memanfaatkan pengetahuan daripada berbilang dokumen yang ditarik (hasil carian) dan menggabungkannya ke dalam konteks yang lebih bermakna dan tepat. Walau bagaimanapun, skim asas RAG yang telah kita kenali juga boleh mendapatkan beberapa dokumen daripada pangkalan pengetahuan, tidak semestinya hanya satu. Jadi, apakah perbezaan antara kedua-dua pendekatan?

Perbezaan utama antara RAG klasik dan perolehan gabungan terletak pada cara berbilang dokumen yang diambil diproses dan disepadukan ke dalam respons akhir. Dalam RAG klasik, kandungan dalam dokumen yang diambil hanya digabungkan atau, paling banyak, diringkaskan secara ekstraktif, dan kemudian dimasukkan sebagai konteks tambahan ke dalam LLM untuk menjana respons. Tiada teknik gabungan lanjutan digunakan. Sementara itu, dalam pengambilan gabungan, mekanisme yang lebih khusus digunakan untuk menggabungkan maklumat yang berkaitan merentas berbilang dokumen. Proses percantuman ini boleh berlaku sama ada pada peringkat pembesaran (retrieval stage) atau pun pada peringkat penjanaan.

• Penyatuan dalam peringkat penambahan terdiri daripada menggunakan teknik untuk menyusun semula, menapis atau menggabungkan berbilang dokumen sebelum diserahkan kepada penjana. Dua contoh perkara ini ialah penyediaan semula, di mana dokumen dijaringkan dan disusun mengikut perkaitan sebelum dimasukkan ke dalam model bersama gesaan pengguna dan pengagregatan, di mana bahagian maklumat yang paling berkaitan daripada setiap dokumen digabungkan menjadi satu konteks. Pengagregatan digunakan melalui kaedah mendapatkan maklumat klasik seperti TF-IDF (Kekerapan Jangka - Kekerapan Dokumen Songsang), operasi pada benam, dsb.
• Penyatuan dalam peringkat penjanaan melibatkan LLM (penjana) memproses setiap dokumen yang diambil secara bebas -termasuk gesaan pengguna- dan menggabungkan maklumat beberapa kerja pemprosesan semasa penjanaan respons akhir. Secara umum, peringkat pembesaran dalam RAG menjadi sebahagian daripada peringkat penjanaan. Satu kaedah biasa dalam kategori ini ialah Fusion-in-Decoder (FiD), yang membolehkan LLM memproses setiap dokumen yang diambil secara berasingan dan kemudian menggabungkan cerapan mereka sambil menjana respons akhir. Pendekatan FiD diterangkan secara terperinci dalam kertas ini.

Kedudukan semula ialah salah satu pendekatan gabungan yang paling mudah lagi berkesan untuk menggabungkan maklumat secara bermakna daripada berbilang sumber yang diperoleh semula. Bahagian seterusnya menerangkan secara ringkas cara ia berfungsi:

Bagaimana Penarafan Semula Berfungsi

Dalam proses penarafan semula, set awal dokumen yang diambil oleh retriever disusun semula untuk meningkatkan perkaitan dengan pertanyaan pengguna, dengan itu dapat menampung keperluan pengguna dengan lebih baik dan meningkatkan kualiti output keseluruhan. Retriever menghantar dokumen yang diambil kepada komponen algoritma yang dipanggil ranker, yang menilai semula kriteria berdasarkan hasil yang diperoleh seperti keutamaan pengguna yang dipelajari dan menggunakan pengisihan dokumen yang bertujuan untuk memaksimumkan kaitan hasil yang dibentangkan kepada pengguna tertentu itu. Mekanisme seperti seperti purata wajaran atau bentuk pemarkahan lain digunakan untuk menggabungkan dan mengutamakan dokumen di kedudukan tertinggi dalam kedudukan, supaya kandungan daripada dokumen yang diletakkan berhampiran bahagian atas lebih berkemungkinan menjadi sebahagian daripada konteks gabungan terakhir daripada kandungan daripada dokumen yang diletakkan pada kedudukan yang lebih rendah.

Rajah berikut menggambarkan mekanisme penarafan semula:

Mari kita terangkan contoh untuk lebih memahami penarafan semula, dalam konteks pelancongan di Asia Timur. Bayangkan pengembara menanyakan sistem RAG untuk "destinasi teratas untuk pencinta alam semula jadi di Asia." Sistem mendapatkan semula awal mungkin memulangkan senarai dokumen termasuk panduan perjalanan am, artikel mengenai bandar popular Asia dan cadangan untuk taman semula jadi. Walau bagaimanapun, model penyusunan semula, mungkin menggunakan keutamaan khusus pengembara tambahan dan data kontekstual (seperti aktiviti pilihan, aktiviti yang disukai sebelum ini atau destinasi sebelumnya), boleh menyusun semula dokumen ini untuk mengutamakan kandungan yang paling berkaitan kepada pengguna tersebut. Ia mungkin menyerlahkan taman negara yang tenang, denai kembara yang kurang dikenali dan lawatan mesra alam yang mungkin tidak berada di bahagian atas senarai cadangan semua orang, sekali gus menawarkan hasil yang "terus ke titik" untuk pelancong yang mencintai alam semula jadi seperti sasaran kami pengguna.

Ringkasnya, penyusunan semula menyusun semula berbilang dokumen yang diambil berdasarkan kriteria perkaitan pengguna tambahan untuk memfokuskan proses pengekstrakan kandungan dalam dokumen yang diduduki pertama, dengan itu meningkatkan perkaitan respons yang dijana berikutnya.