リストに戻る
Supabase と Notion を使用して、大きなドキュメントをベクトル データベースに挿入します。

Supabase と Notion を使用して、大きなドキュメントをベクトル データベースに挿入します。

Engineering

Notion をドキュメントのソースとして利用して、セグメントに分割し、埋め込みを作成し、Supabase ベクトル データベースに挿入することで、膨大なドキュメントを処理します。

仕組み


このワークフローは、Notion からの大規模なドキュメントを処理し、セグメント化し、エンベディングを作成し、これらのエンベディングを Supabase ベクトル データベースに保存するように設計されています。ワークフローは、指定された Notion データベースからドキュメントを取得するトリガー ノードから始まります。ドキュメントが取得されると、処理を容易にするために小さな部分に分割されます。次に、各セグメントはエンベディング作成ノードに渡され、テキスト セグメントのベクトル表現が生成されます。これらの埋め込みは、ベクトル データベースでの後の検索や類似性検索にとって非常に重要です。


エンベディングが作成された後、ワークフローは Supabase ノードを利用して、Supabase データベース内の指定されたベクトル テーブルにエンベディングを挿入します。この手順により、埋め込みが効率的なクエリと取得を可能にする形式で保存されるようになります。ワークフローは、埋め込みがデータベースに正常に挿入されたことを確認する成功メッセージまたは通知で終了します。


ノード間の接続は線形であり、各ステップは前のステップの正常な完了に依存します。この構造化されたアプローチにより、大きなドキュメントが効果的に処理され、将来の操作での検索が最適化される方法で保存されます。


主な機能


1. ドキュメントのセグメント化:

ワークフローは、大きなドキュメントを管理可能なセグメントにインテリジェントに分割し、効率的な処理と埋め込みの作成を可能にします。

2. 埋め込み生成:

高度なアルゴリズムを利用して、テキスト セグメントからベクトル埋め込みを作成します。これは、ベクトル データベースでの類似性検索に不可欠です。

3. Supabase の統合:

ワークフローは Supabase とシームレスに統合され、堅牢なベクトル データベースへのエンベディングの保存が可能になります。

4. ソースとしての Notion:

Notion をドキュメント ソースとして使用することで、ワークフローは一般的なメモ作成およびプロジェクト管理ツールを活用し、すでに Notion に慣れているユーザーでもアクセスできるようになります。

5. 自動化されたプロセス:

ワークフロー全体が自動化され、手動による介入が減り、大規模なドキュメントの処理プロセスが合理化されます。


ツールの統合


- Notion:

ドキュメントのソースとして使用され、ワークフローが Notion データベースからコンテンツを直接フェッチできるようにします。

- Supabase:

エンベディングが保存されるベクトル データベースとして機能し、大規模なデータセットを管理するためのスケーラブルなソリューションを提供します。

- n8n ノード:

ワークフローで使用される特定のノードには次のものがあります。

• ドキュメントを取得するための Notion ノード。

• ドキュメントをセグメント化するための関数ノード。

• ベクトル表現を生成するための埋め込みノード。

• データベースにデータを挿入するための Supabase ノード。


API キーが必要です


このワークフローを正常に実行するには、次の API キーと認証情報が必要です。

- Notion API キー:

Notion データベースを認証してアクセスするために必要です。

- Supabase API キー:

Supabase ベクター データベースに接続して操作を実行するために必要です。

- Supabase プロジェクト URL:

埋め込みが保存される特定の Supabase プロジェクトへの接続を確立するために必要です。

Supabase と Notion を使用して、大きなドキュメントをベクトル データベースに挿入します。

類似のワークフロー