Hyper nehan
ビッグデータ処理の課題
ビッグデータという言葉が注目を浴び、それらを扱うための様々なサービスが世の中に誕生しました。
しかし、その殆どがユーザーに一定のプログラミングスキルを要求するものであり、ビッグデータの活用が万人に対して開かれている状況ではありません。
Hyper nehanとは
Apache Sparkを採用した分散処理エンジンを利用でき、ビッグデータを高速に処理できるようになるプランが「Hyper nehan」。
ユーザーに追加の操作を求めることはありません。
データサイズが大きければ、自動的に処理エンジンを切り替えます。
これにより、ユーザーはデータのサイズを意識することなく、ビッグデータを快適に分析することができます。
パフォーマンス比較
検証として、20億行×14列・約100GBのビッグデータを用意し処理時間を比較しました。
他ツールと遜色ない速度で処理ができています。
Google Big Query、Amazon Athenaは、共にビッグデータ処理における代表的なツールですが、SQLクエリが書けないと扱えません。
対して、nehanは一切のプログラミングを必要しない、というアドバンテージがあります。
※Hyper nehanは、性能段階的にいくつかのプランを用意しており、全プランで上記パフォーマンスが出るわけではありません。
独自機能「自動スイッチ」
Hyper nehanに搭載されているApache Sparkを採用した分散処理エンジン。
こちら、ビッグデータの処理は得意ですが、逆にスモールデータではnehanが従来採用しているPythonのほうが速いのです。
そのため、データサイズに応じて処理エンジンを自動でスイッチし、時間効率を高めています。