CommunityKG-RAG: Leveraging Community Structures in Knowledge Graph for Advanced RAG in Fact-Checking

選定理由

グラフベースRAG+事実確認という組み合わせ。llamaindexやlangchain等にもグラフベースRAGは実装されているが、効果がちゃんと記述されていないため把握したい。

Paper:

CommunityKG-RAG

と呼ばれる関係抽出モデルを使用し、文書中のエンティティ間の関係を抽出してグラフ化する。

実験

実験設定

• データセット: から収集された15,601件の主張を含む事実検証タスク用のデータセットMOCHEGデータセットを使用した。真実性ラベル（Supported、Refuted、Not Enough Information (NEI)）が付与されている。


• 比較手法: ベースラインはNo Retrievalで文脈なしでLLMが回答を生成。次がSemantic Retrieval(通常のRAG)でクエリとコンテキスト間のコサイン類似度を基に、BERTで最も関連性の高い文を抽出。最後にKAPING: 主張と関連するトリプル（(エンティティ, 関係, エンティティ)形式）間の文類似度に基づいてトリプルを提供し、LLMで回答。


• 使用モデル: LLaMa2-7Bモデルを使用し、設定の変更に伴う性能評価も実施。


• 評価指標: 主張の真偽を判断する精度（Accuracy）を主要な評価指標としています。


• 設定: 主な設定として、トップ25%のコミュニティとその100%の関連文を使用するCommunityKG-RAG25-100を基準として評価。

実験結果

手法の有効性

CommunityKG-RAG25-100が最も高い精度を示し、事実確認において他のベースライン手法を大きく上回った。特に、コミュニティベースの知識を活用することで、情報の関連性と正確性が大幅に向上したことが確認されました。