統合データ処理プラットフォームでデジタルトランスフォーメーションの旅を加速する

産業

技術情報

はじめに

私たちは

nDimensional

デジタル・トランスフォーメーションへの道を加速させるために、統一されたデータ処理プラットフォームを導入しました。

貴重な時間とコストを削減しました。

n次元について

nDimensionalは、企業がデータを活用してビジネスで何が起きているのかをより深く理解できるよう支援する、データ分析とAIのリーディングカンパニーです。彼らは、膨大で複雑なデータセットの増大に対応できるスケーラブルなデータレイクを必要としていた。そこでナッシュテックは、費用対効果に優れ、効率的でありながら、現在と将来のニーズに柔軟に対応できるテクノロジー・アーキテクチャの設計と開発を担当することになった。

課題

nDimensionalは、バッチデータとストリームデータの両方をサポートし、自社のプラットフォームと連動するスケーラブルなデータレイクを設計・開発したいと考えていました。また、Dockerなどのイメージにパッケージして、あらゆるクラウドサービスやオンプレミスにデプロイできる、自己完結型のアプリケーションを作ることが目的だった。

アプリケーションの基本的な流れは非常にシンプルだったが、重要な課題は以下の通りだった：

統一されたフォーマットでデータを保存することで、ユーザーにとってはバッチデータとストリームデータの違いがなくなる。
データへのアクセスは迅速でなければならない。
ユーザーが提供するプラグイン可能なロジックを使用してバッチ/ストリームを処理します。

ソリューション

ナッシュテックは2つの重要な部分に取り組んだ：

Fast API – バッチデータやストリーミングデータを処理するための様々なアクションを提供するインターフェース。また、KafkaとファイルやDBなどの静的リソースを接続するのにも役立つ。
バックグラウンドタスクのためのマイクロサービスサービス（Lagomベース） – データレイク（S3とCassandra）にデータを保存するための処理エンジンの負荷を軽減し、別のノードに割り当てるために開発されました。サービスはLagomを使って構築されたので、簡単にサイズを変更でき、どこにでも展開できる。