横浜市が実業務検証で得たRAGのメリット・デメリットとは

横浜市は2022年9月、DX（デジタルトランスフォーメーション）の実現に向けて、「デジタル×デザイン」をキーワードに、“デジタルの恩恵をすべての市民、地域に行きわたらせ、魅力あふれる都市をつくる”ことを目的とした「横浜DX戦略」を策定した。

2023年11月からは、横浜市独自の生成AI利用環境を構築し、庁内の一部部署で生成AIのプレ運用を開始。さらに、2024年11月から2025年3月まで、選挙関連の問い合わせ対応、成年後見制度関連の問い合わせ対応、データ活用業務の3つを対象に、RAG（Retrieval-Augmented Generation（検索拡張生成）の実証をNTT東日本神奈川事業部の伴走支援を得て行っている。

そこで、横浜市と支援を行ったNTT東日本グループに、横浜市におけるRAGの活用とその成果について聞いた。

横浜市の「横浜DX戦略」と生成AIの活用方針

「横浜DX戦略」の目指すべき姿をお聞かせください

横浜市デジタル統括本部企画調整部デジタル・デザイン室担当課長武井邦之氏

横浜市デジタル統括本部企画調整部デジタル・デザイン室担当課長武井邦之氏（以下、武井氏）：DX戦略においては、デジタル化の波を受け入れるだけでなく、それを市民や地域に行き渡らせて、魅力あふれる都市を作るため、われわれが自らイニシアチブを取って、デジタルの実装をデザインすることを掲げています。2025年度は、2022年からの4年間のファーストステップの最終年度にあたり、デジタル技術を活用して生産性を高め、それによって生み出した時間を活用して、より細やかな行政サービスを提供することを目指しています。

横浜市全体の手続き件数の9割を占める100の手続きのオンライン化を前年度末までに達成できましたが、これによって市民のみなさんに年間約50万時間をお返しできたと試算をしています。中でも、デジタルへの親和性が高い子育て世帯は、日々の時間的、精神的な負担が大きいと思うので、DXの効果を確実に実感していただけるように力を入れているところです。

横浜市の生成AI活用に対する方針や考えをお聞かせください

横浜市デジタル統括本部企画調整部デジタル・デザイン室担当係長大澤拓哉氏

横浜市デジタル統括本部企画調整部デジタル・デザイン室担当係長大澤拓哉氏（以下、大澤氏）：人口減少に伴う職員の人材不足を見据え生成AIを活用することで、職員一人一人の事務作業の効率化、業務の負荷軽減を全庁的に行い、生み出した時間をより高度な市民サービスに当てることで、市民サービスの向上を図りたいと考えています。その手法の一つに生成AIがあると考えています。まずは職員の負担軽減というところに向けて、生成AIをどう活用していくのかというところを、現在、検討・実証しています。

生成AIに関して、これまでどのような取り組みを行ってきたのでしょうか？

大澤氏：令和5年度（2023年度）に、庁内における生成AIの活用に関する実証実験を行っています。ニーズとしては、汎用的なLLMのみを使うことと、RAGにより業務に特化した形で生成AIを活用することの2つがあります。昨年度はこの二軸で進めてきました。汎用LLMは全庁導入がほぼ完了しており、RAGは実証実験を行いました。

横浜市では、RAGにどのようなことを期待していますか？

大澤氏：汎用的なLLMは本市の業務に特化していないので、実際に仕事をしていく中では、もう少しこの業務に特化した回答が欲しいというニーズがあります。そのニーズを満たすツールの1つとしてRAGがあると思っています。

実証で感じたRAGのメリット、デメリットとは？

昨年度にRAGの実証を行いましたが、どう思われましたか？

大澤氏：実証は数カ月でしたが、本市独自のマニュアルなどから回答を引き出してくれるというのは、大きな業務効率化に寄与すると思っています。特に問い合わせの回答を探す場合、これまでは大量のドキュメントから探していたところが、自然言語で入力すると回答が返って来るので、検索機能は非常に向上したと思います。

逆に、RAGデメリットはどのように捉えていますか？

大澤氏：読み込ませたいドキュメントが体系的になっておらず、手書きで作っていたものや文章が羅列されているもの、図や表など、RAGが直接読み込んではくれないドキュメントの精査作業をしなければいけないのはデメリットと考えています。

データ化するところをクリアできないとRAGが使えないので、精度高くRAGを使うために、ユースケースを選定する必要があると思っています。

また、成年後見制度においては単一な質問に関して必ず単一な答えがあるわけではありません。状況に応じていろいろなドキュメントから複合的に組み合わせて回答を作ることが福祉の業務では多いので、この辺りは踏み手が届かないという印象を受けています。

NTT東日本では、RAGのメリットとデメリットをどう考えていますか？

NTT東日本神奈川支店第一ビジネスイノベーション部地域基盤ビジネス担当シニアコンサルタント山崎剛氏：RAGは問い合わせのデータベースから回答を引き出すところが得意分野で、まさに今回の実証に適していると思っています。

逆に、少しルール化されていない部分はうまく判断できないので、データクレジングを行ってルールを言語化し、システムに落とし込んでいかなければならない点はデメリットだと思います。ただ、そこをしっかり整えれば、高い精度で回答できると考えています。

横浜市選挙管理委員会におけるRAGの実証では精度を向上

横浜市選挙管理委員会でRAGを実証した感触をお聞かせください

横浜市選挙管理委員会事務局選挙部調査課長古川浩氏

横浜市選挙管理委員会事務局選挙部調査課長古川浩氏（以下、古川氏）：私は当初、生成AIにあまり期待していませんでした。公職選挙法で使われる用語は、一般的な言葉の意味より厳密に区別されることがあるからです。選挙事務に携わる人たちにとって「選挙運動」と「政治活動」の違いは明白ですが、生成AIにはその違いを判別することはできないだろうと。しかし、実証が進むにつれ「こんなことまで答えられるのか！」と驚かされることばかりで、検証の作業もワクワクしながら進めることができました。

精度を上げられたポイントは何でしょうか

NTT-ME サービスクリエイション部サービスプロデユース部門 AIビジネス担当井藤魁氏（以下、井藤氏）：プロンプトのチューニングで難解な解釈をうまく生かせたのはもちろんですが、横浜市さんが蓄積されていた質疑集や過去の取り組みがあってこそだと思っています。そのデータがあったからこそ、キーワードをうまく引っ掛ける仕組みができました。こういう質問に対して、どういう回答を過去にしていたのかのデータがあったからこそ、プロンプトで網羅的に解釈を詳しく出すように工夫して作り込めました。

古川氏：取り込んでいただいた質疑集は、かつて自分が書き残したものも含め、歴代の職員が何十年にもわたって蓄積してきた、まさに知見の結晶ともいえるデータベースです。それが生成AIの回答精度向上に貢献できたのなら、本当に感無量ですね。

横浜市選挙管理委員会でRAGを活用する際、どのような点に注意しましたか？

横浜市選挙管理委員会事務局選挙部調査課調査係長代田泰大氏

横浜市選挙管理委員会事務局選挙部調査課調査係長代田泰大氏（以下、代田氏）：生成AIそのものが出してくる回答を、直接業務に使ってはいけないことに加えて、二次利用にも注意しました。あとはAI環境が学習しないように担保されている仕組みを利用するところも注意点だと思います。

選挙管理委員会では今後、生成AIをどのように業務に生かそうと考えていますか？

代田氏：一般の方を含めていろいろな方から問い合わせを受ける中で、初任者は回答が書かれている資料がわからないことがあります。先輩に聞けばいいのですが、サポーターとしてAIがあると、まずはAIに聞いて当たりを付け、それでも分からないことがあれば先輩に聞くほうが本人にとっても良いですし、組織としての生産性も上がると思います。

横浜市のRAGの実証において、ドキュメント検索以外の使い方改革によって、さらに効率化、省力化できるという総括がありましたが、これはどういう意味でしょうか？

NTT-ME 神奈川ブロック統括本部テクニカルソリューション部門エリアプロデュース担当園田竣哉氏：今回、チャットボットによる単純な定型的な問い合わせ対応のほか、自分で壁打ちする部分にもRAGを活用しました。問い合わせという業務にこだわらず、さまざまなRAGの手法を提案することができます。

生成AIのさらなる活用に向けて

横浜市において、生成AIを活用する上での課題は何でしょうか？

武井氏：横浜市は昨年10月、全庁的に生成AIの利用を開始しましたが、現段階では全職員が活用しきれているとはいえない状況なので、引き続き職員に対して生成AIの利用を促進していく取り組みが必要だと感じています。

また、生成AIに関する新たなサービスが展開される中で、全職員がその特性を知って適正に利用できるようにリテラシーを高めることも重要だと考えています。

横浜DX戦略における今年度の取り組みについて、聞かせてください

武井氏：横浜DX戦略では年度単位で4つのクォーターに区切っていて、今年が最終年度になりますが、戦略に示した目標を着実に達成して、市民目線でのサービス向上や業務の効率化を具現化することでDXの成果を実感いただくとともに、次の第2期の戦略へつなげていきたいと思っています。

横浜市の支援メンバー。左からNTT-ME 神奈川ブロック統括本部テクニカルソリューション部門エリアプロデュース担当園田竣哉氏、NTT東日本神奈川支店第一ビジネスイノベーション部地域基盤ビジネス担当シニアコンサルタント山崎剛氏、NTT-ME サービスクリエイション部サービスプロデユース部門 AIビジネス担当井藤魁氏