私が考えた構想は、フォルダの中の非定型ファイル群を一気に読込み、その情報を利用して生成AIに問いかけをするという仕組みでした。すなわちタイトルにある「大量ファイルをロードするVectorDB」の実現です。早速やってみようと思い、「Udemy」や「YouTube」を色々見てみましたが、「LangChain」を全く知らないことと、Pythonプログラミングもままならない状況でしたので、どこから手を付けてよいのか分からない状況でした。そんな中、LangChainに関するとってもわかりやすい書籍を見つけました。それが「LangChat完全入門」です。先ずはサンプルをそのままコーディングしてトライ&エラーを繰り返し、解説を読みながら少しずつ理解してきました。
ある程度コーディングをしていくと、「大量ファイルをロードするVectorDB」が作れるのでは?というようになりました。また、いろいろなWebサイトをみても、1つのPDFファイルやtextファイルを基にVectorDBへ情報を蓄積させるものはありましたが、大量ファイルを蓄積させるものは、探すことができませんでした。そこで、私の苦労の連続と共に「大量ファイルをロードするVectorDB」の作り方を執筆してはどうだろうと思ったのが今回のきっかけです。
詳しくはQiitaの記事をご覧ください

Comments