top of page

LangChainを用いて大量ファイルをロードするVectorDBを作ってみた

執筆者の写真: たろう 木村たろう 木村

私が考えた構想は、フォルダの中の非定型ファイル群を一気に読込み、その情報を利用して生成AIに問いかけをするという仕組みでした。すなわちタイトルにある「大量ファイルをロードするVectorDB」の実現です。早速やってみようと思い、「Udemy」や「YouTube」を色々見てみましたが、「LangChain」を全く知らないことと、Pythonプログラミングもままならない状況でしたので、どこから手を付けてよいのか分からない状況でした。そんな中、LangChainに関するとってもわかりやすい書籍を見つけました。それが「LangChat完全入門」です。先ずはサンプルをそのままコーディングしてトライ&エラーを繰り返し、解説を読みながら少しずつ理解してきました。

ある程度コーディングをしていくと、「大量ファイルをロードするVectorDB」が作れるのでは?というようになりました。また、いろいろなWebサイトをみても、1つのPDFファイルやtextファイルを基にVectorDBへ情報を蓄積させるものはありましたが、大量ファイルを蓄積させるものは、探すことができませんでした。そこで、私の苦労の連続と共に「大量ファイルをロードするVectorDB」の作り方を執筆してはどうだろうと思ったのが今回のきっかけです。


詳しくはQiitaの記事をご覧ください




閲覧数:10回0件のコメント

最新記事

すべて表示

Comments


​日本をITでよくする

メールアドレス

大阪府豊中市上新田2丁目

4-60-303

ニュースレターに登録

お問い合わせ

bottom of page