Part 2：スノーフレイク（SNOW）のApache Iceberg採用とDatabricksのTabular買収による影響を分析

※「Part 1：スノーフレイク（SNOW）のIceberg採用がもたらすテクノロジー面での競争優位性、市場シェア＆競合他社分析と将来性」の続き

スノーフレイク（SNOW）のApache Icebergの戦略的採用

スノーフレイク（SNOW）がApache Icebergを採用することは戦略的な動きであり、弱点ではない。この決定により以下の効果が期待できると見ている。

• スノーフレイクの売上高の増加
• 真のオープンストレージ標準の採用者としてのスノーフレイクの地位の確立
• Icebergの成熟と人気の加速

これはDatabricksのコアマーケティングメッセージに挑戦するものである。スノーフレイクがIcebergを採用することで、DatabricksのDelta Lakeのオープン性は低く見える。DatabricksがTabularを買収したことは強力な対抗策のように見えたが、実際にはその対応策はより反応的な動きであることが明らかになっている。

• 業界のトレンドに追随
• 新たに出現したIceberg中心のModern Data Stack（MDS）エコシステムでの遅れを避けるため

Databricksは最初にDelta Lakeをオープンソース化したが、価値のあるコンポーネントは管理バージョンに残していた。そのため、オープンソースのDelta Lakeはコミュニティからの関心をほとんど引かなかった。

2022/23年に、DatabricksはDelta Lakeの限界を認識しながらもIcebergの脅威を過小評価していた。そして、Iceberg Converterの追加や、より多くのコンポーネントのオープンソース化といった防御的な動きは、Icebergの台頭を止められなかった。

Microsoft Fabricを除き、主要なプレイヤーはDelta Lakeを標準化しなかった。しかし、このMicrosoft Fabricとのパートナーシップは、2017年以降DatabricksのGTM戦略（市場進出戦略）を強化し、技術志向から営業およびマーケティングに強い会社へと変革させた。

Databricksは、スノーフレイクのような競合他社がよりオープンな標準を採用する中で、オープンデータストレージにおけるリーダーシップを維持するという課題に直面している。Databricksは2023年半ばにUnity Formatを発表し、Delta Lakeを活性化し、異なるデータフォーマット間の互換性を向上させることを目指している。

Unity Formatはメタデータ層の統一を試みているが：

• 真の統一は複雑で、「最小公倍数」のアプローチや、IcebergおよびHudiの機能を基本的にサポートするDelta Lake中心のソリューションに陥る可能性がある。
• 多様なカタログシステムの管理が運用上の課題となり得る。
• ユーザーはDatabricksの独自エコシステムにロックインされるリスクがある。
• IcebergやHudiに特有の高度な機能が完全にはサポートされない可能性がある。

この戦略は、Databricksがオープン標準のサポートと自社技術スタックのコントロールを両立させようとする試みを示している。

DatabricksのIceberg向けUniForm

2024年6月、DatabricksはDelta LakeとIceberg技術を橋渡しするUniForm for Icebergを発表した。UniFormはDelta Lakeの構造をIceberg互換システムが理解できる形式に変換する。

しかし、このことは冗長性と効率性に関する疑問を生じさせる。Delta Lakeはすでにサードパーティのコンピュートエンジンを直接サポートしており、UniFormの変換レイヤーが不要となる可能性がある。このレイヤーを通じてDelta Lakeのデータを読み取ることは、効率が低下するかもしれない。

戦略的には、UniFormはDatabricksがIcebergツールとの互換性を主張しつつ、完全にIcebergに移行しない方法である。これは変化するデータの状況に対応しつつ、コア技術への投資を維持する手段であると言える。

Databricksは2024年6月にUniForm for Icebergを一般利用可能（GA）な機能としてリリースした。データは引き続きDelta Lake形式で保存され、IcebergのREST APIを通じてアクセスできるようにしている。しかし、このアプローチは三つのストレージ標準を真に統一するものではない。それはDelta Lakeをネイティブ形式として使用し、他のコンピュートエンジンがIceberg APIを使用してDelta Lakeをクエリできるようにする変換レイヤーを作成している。

このDatabricksの動きは、Iceberg中心のエコシステムでの関連性を維持しつつ、Delta Lakeへの投資を守る試みのように見える。しかし、この変換レイヤーの効率性と必要性については疑問が残る。

Databricksは、セールスフォース（CRM）やスノーフレイク（SNOW）のようなベンダーがApache Icebergをますますサポートする中で、課題に直面している。Delta Lakeを多用途なオープンストレージ形式としての地位を維持するために、DatabricksはIcebergとの互換性を確保しているが、コントロールと最適化能力のためにIcebergを完全には採用していない。

Icebergの開発哲学は特定のコンピュートエンジンを必要とする機能を避けており、高度な最適化技術を実装するDatabricksの能力を制限している。その結果、DatabricksはDelta Lakeを保持してオープンデータストレージにおけるリーダーシップの地位を維持しようとしている。

Tabularの役割とDatabricksの買収戦略

Tabularは、Icebergテーブルに対する役割ベースのアクセス制御と最適化を提供するマネージドウェアハウスおよび自動化プラットフォームである。Icebergをサポートする任意のクエリエンジンや処理フレームワークと互換性のある分析データの中央ストアを提供する。

Tabularの戦略は、Icebergの中立性と広範な魅力をデータエコシステム内で維持しつつ、オープンソースプロジェクトに基づく持続可能なビジネスモデルを構築するものである。DatabricksによるTabularの買収は、その高額な買収価格の設定でも注目されており、競合他社であるスノーフレイク（SNOW）やコンフルエント（CFLT）がTabularを取得するのを防ぐための戦略的な動きのように見える。

Tabularの創設者であるライアン・ブルーは以前、Unity FormatよりもIceberg標準化を提唱していた。これは、DatabricksがDatabricks/Spark + Delta Lake + Unity Catalogスタックを推進し続ける中で、興味深いダイナミクスを生み出している。

この買収は、Databricksが競合他社がオープンデータストレージの主導権を握るのを防ぐための戦略的な動きである可能性が高い。しかし、Delta Lakeが他のシステムと直接効果的に通信できる場合、変換レイヤーの長期的な効率性と必要性について疑問が生じる。

Databricksの戦略は、オープン標準のサポートと独自の最適化とのバランスを取ろうとしていることを示唆している。しかし、このバランスを維持することは、取得した技術の統合や、既存プロジェクトと取得プロジェクト間の潜在的な対立を管理する上で課題を提示している。

将来の展望とコミュニティの反応反応

アイスバーグとデルタレイクを支える貢献企業一覧（2024年6月）

最も可能性の高いシナリオは、Icebergが独立して進化し続けることである。Databricksは、Delta Lake特有の機能をIcebergに貢献し、両フォーマットを整合させるかもしれない。最終的には、Delta Lakeが廃止され、Icebergに統合される可能性がある。

Databricksは、Delta Lake中心のカタログからIcebergを完全にサポートするカタログに移行する際に、多くの課題に直面するであろう。そして、これらの変化に対するオープンソースコミュニティの反応が重要となる。

GitHubのスター数などのDelta Lakeの活動指標は、Databricksエコシステム外での広範な採用を完全には反映していない可能性がある。対照的に、Icebergはより活発で健全なプロジェクト指標を示している。

DatabricksはIcebergに向けて軌道修正し、Delta Lakeのコンポーネントや機能をIcebergにもっと貢献する必要があるかもしれない。このアプローチは、Delta LakeユーザーをDelta Lake要素を取り入れた新しいバージョンのIcebergに統合するものである。そして、逆のアプローチを取ることは、Icebergの消滅につながる可能性がある。

DatabricksがTabularを買収したにもかかわらず、スノーフレイク（SNOW）が管理するIcebergは、最も人気のあるIceberg実装となる可能性が高い。Tabularの買収は、新たな不確実性をもたらし、Databricksにとってリスクと機会の両方を提示していると言える。

スノーフレイクやコンフルエント（CFLT）のような競合他社にとって、Tabularを社内に持たないことはわずかな不利であるが、Icebergが独立している限り、1～2億ドルの価値はない。カタログシステムがストレージフォーマットを制御する抽象レイヤーとして重要性を増していることは、フォーマットがよりコモディティ化され、業界の競争力学が再構築される可能性を示唆している。

結論

DatabricksのDelta Lakeに関するプレゼンテーションは、Tabularの買収と併せて考えると疑問を投げかけるものである。もしDelta Lakeが主張されているほど支配的であるならば、なぜDatabricksがTabularを大幅なプレミアムで買収する必要があったのか不明である。Delta Lakeの人気を強調するプレゼンテーションと、競合フォーマットの作成者を買収することの対比は、データレイクハウス市場における複雑な動態を浮き彫りにし、Delta Lakeの真の採用範囲とDatabricksの戦略的ポジショニングに関する疑問を提起している。

まとめると、スノーフレイク（SNOW）のApache Icebergの採用とDatabricksのTabularの買収は、データストレージと管理の進化するトレンドを反映している。両社は競争の激しい市場で戦略的に自らの位置を確立し、オープン標準のサポートと独自の最適化をバランスさせている。そして、これらの戦略の成功は、業界のトレンドとコミュニティの反応に適応する能力にかかっているだろう。

その他のテクノロジー銘柄関連レポート