【テクノロジー：Part 3】スノーフレーク（SNOW）では何ができるのか？ELTからETLへの流れと高度なRAG（検索拡張生成）との関係性に迫る！

※「【テクノロジー：Part 2】スノーフレーク（SNOW）の強み：Apache NiFiを活用して高いセキュリティと拡張性を提供！」の続き

前章では、スノーフレーク（SNOW）とApache NiFiの関係性に関して詳しく解説しております。

加えて、本稿では、スノーフレークのテクノロジーに関する専門用語が多く使用されますが、同社のテクノロジーに関しては、下記の3部作から成る長編レポート、並びに、過去のレポートにて詳細に解説しております。

本稿の内容への理解をより深めるために、是非、インベストリンゴのプラットフォーム上にて、前章も併せてご覧ください。

ELTから再びETLへの流れがスノーフレーク（SNOW）に与える影響とは？

（出所：Datavolo）

ETL（Extract, Transform, Load）とは、データを抽出し、変換してから最終的な保存先にロードする方法であり、ELT（Extract, Load, Transform）は、データを抽出してから保存先にロードし、その後に変換を行う方法です。そして、主な違いは、ETLでは変換を先に行い、ELTではロード後に変換する点であり、ELTはクラウド環境で効率的に使われることが多いです。

そして、Datavoloが提供するコネクタとプロセッサを使えば、非構造化データを取り込み、文脈に合わせて整理・処理し、効率的に保存することが可能です。生成AIにとって、非構造化データやマルチモーダルデータは重要な「燃料」であり、これらのユースケースを実現するには、強力なデータパイプラインが欠かせません。非構造化データには、PowerPointやExcel、PDF、テキストファイル、画像、音声、動画などが含まれます。マルチモーダルデータとは、こうしたさまざまな形式のデータを組み合わせることで、概念やタスクの本質を正確に捉えることを指します。

生成AI向けのパイプライン構築にはいくつかの課題があります。まず、アクセスが難しいソースから非構造化データを収集することが第一のステップです。これには、イベントストリームやデータベーステーブルに収まらないような大規模なデータセットも含まれ、従来のETLシステムでは対応しきれない場合があります。データ収集を自動化した後は、データの分割や整理、構造化された情報の抽出、検索や取得に使う埋め込みの作成といったプロセ