Retrieve (検索) -Revise (修正) -Refine (洗練):
簡潔で含意する法律条文セット検索のための新しいフレームワークを設計

【ポイント】

• 簡潔かつ含意する法律条文セットを検索するという複雑な課題に対応した「Retrieve-Revise-Refine」という新しい3段階のフレームワークを設計しました。
• 次に、2つのデータセットを使用してフレームワークを厳密に評価した結果、macro-F2スコアにおいて、それぞれ3.17%および4.24%の向上を達成し、従来の最先端（SOTA）手法を上回る顕著な改善がみられました。
• 最後に、包括的なアブレーションスタディおよびそれに続く詳細な分析により、フレームワークの各段階における重要な機能について貴重な洞察を得られました。

【研究背景と内容】

　人工知能（AI）は、法技術の境界を再定義し続けており、法的な質問応答や相談のような高度なタスクを自動化する可能性を秘めています。特に、制定法の分野では、クエリに対して含意する法律条文の簡潔なセットを検索する重要なタスクがあります。このタスクは、高度なアプリケーションを強化するために不可欠です。本研究では、このタスクを「含意する法律条文セット検索タスク」（以下、「本検索タスク」という。）と呼びます。

　本検索タスクは、従来の情報検索（IR）とは二つの主要な点で大きく異なります。1つ目は、従来のIRでは記事のランキングリストを返すのに対し、本検索タスクは簡潔な条文セットを求めます。この具体性は、法的クエリと法律条文自体の性質にまで及びます。これらは非常に複雑で専門的な法的言語を含んでおり、より深い法的推論とリンク能力を持つ検索システムを必要とします。2つ目は、従来のIRが主に関連性に基づいて候補をランク付けするのに対し、本検索タスクは、取得した条文がクエリの内容と含意関係にあるか否かを要求します。これらの特徴が、本検索タスクと従来のIRタスクの大きな違いです。

　含意する法律条文セット検索に関する先行研究では主に2つのアプローチが用いられてきました。1つ目のアプローチは、古典的なIRモデルと微調整された言語モデル（LM）を組み合わせ、その後、検索結果と最終的な検索セットを統合する方法です。2つ目のアプローチは、古典的なIRモデルを初期候補のフィルタリングにのみ使用し、その後のLM微調整のための入力を準備します。最終結果は、さまざまな微調整されたLMから組み合わされます。

　本研究の「Retrieve-Revise-Refine」フレームワークは、本検索タスクに対応するために設計しました。このフレームワークは、クエリに含意するか又は否定するかの簡潔な法律条文セットを特定することを目指し、このタスクの理解を進展させます。さらに、私たちのアプローチは、小規模および大規模LMを組み合わせる独自の利点を活かし、検索した条文の精度（精密度）を向上させつつ、カバレッジ（再現率）の損失を最小限に抑えています。
　なお、フレームワークは、以下の3段階で構成されています：

1. Retrieve（検索）: 複数の小規模LMを組み合わせ、さまざまなカスタマイズされた戦略で微調整することによって、含意する法律条文の包括的な検索を最大化します。
2. Revise（修正）: 大規模LMを使用して、取得した上位の検索結果から得られた各法律条文の組み合わせに対してクエリの有効性を評価し、より簡潔な含意する法律条文セットを導き出します。
3. Refine（洗練）: 第二段階の出力をさらに精緻化し、小規模LMの予測から得られる洞察を大規模LMの予測の改善に利用します。

　実験結果により、このフレームワークは、二つのデータセットにおいて最先端の結果を達成し、それぞれ3.17％および4.24％の改善を示しました。

　本成果は、2024年11月7日に「Information Processing & Management」誌のオンライン版に掲載されました。なお、本研究は、AOARD助成金（FA23862214039）の支援のもと行われました。

図 1: Retrieve-Revise-Refineフレームワークの概要アーキテクチャ

【論文情報】

令和6年11月27日