Slackで社内文書検索 4/4回（任意のLLMによる回答生成編）

はじめに

概要

任意のLLMによる回答生成

1. イベントを受け取る

2. 資料を検索する

3. 資料をロードする

4. 回答生成

回答生成の処理

Summarization | 🦜️🔗 Langchain

Open In Colab

https://python.langchain.com/docs/use_cases/summarization#splitting-and-summarizing-in-a-single-chain

• PaLM2
PaLM2は試作段階であり、GPT-3.5やGPT-4に比べ、出力の大きさが小さい上に、クオリティも低い。（2023/10/30現在）
そのため、PaLM2はStuffDocumentsChainを用いて、テキストを参考に回答生成する簡単な処理になっています。
StuffDocumentsChainを用いた理由としては、StuffDocumentsChainはドキュメントを複数プロンプトに埋め込めるという特徴を持っているので、将来的に回答生成に利用する資料の容量が増えたときに対応が楽になるからです。

The stuff documents chain ("stuff" as in "to stuff" or "to fill") is the most straightforward of the document chains. It takes a list of documents, inserts them all into a prompt and passes that prompt to an LLM.

This chain is well-suited for applications where documents are small and only a few are passed in for most calls.

Stuff | 🦜️🔗 Langchain

The stuff documents chain ("stuff" as in "to stuff" or "to fill") is the most straightforward of the document chains. It takes a list of documents, inserts them all into a prompt and passes that prompt to an LLM.

https://python.langchain.com/docs/modules/chains/document/stuff

以下にコードを示します。
今回ChatVertexAIのモデルはchat-bisonを用いましたが、目的に応じてモデルも変更できます。モデルの一覧は以下のサイトをご覧ください。
Model API reference for Generative AI  |  Vertex AI  |  Google Cloud
Generative AI on Vertex AI (also known as genai) gives you access to Google's large generative AI models in Vertex AI.
https://cloud.google.com/vertex-ai/docs/generative-ai/model-reference/overview

• GPT-3.5とGPT-4
GPT-3.5、GPT-4では回答生成に、load_summarize_chainを用います。
load_summarize_chainを用いることで、Map Reduceを簡単に実装できます。
処理の流れを簡単に説明します。まず、参考資料を分割して、それぞれの資料から回答生成に必要そうな情報を抽出します（下のコードのPROMPT）。次に、分割された資料から抽出した情報から回答生成を行います（下のコードのCOMBINE_PROMPT）。
以下にコードを示します。

回答生成と返信をするファンクション

最後に

参考