データレイクソリューション essentia

[2017/3/15 16:22] ブックマーク

データレイクソリューション essentia データレイクソリューション essentia

essentiaは、ビッグデータを収集・保管・統合・分析するためのデータレイクソリューションです。
大量の複雑なデータをオリジナルフォーマットのまま並列処理で読み込み、データのクレンジングや統合・集計など分析の前処理や、クラスタリング・スコアリングなどの分析処理を超高速に実施します。
クラウドサービスで提供しているほか、オンプレミスや自社環境向けのソフトウェア提供も開始しています。

データ分析 >データ連携

  • 製品詳細
  • 評価レポート(0件)
  • ベンダー問い合わせ

スペック

  • 提供元企業
  • 社 名 Antuit株式会社 (アントゥイット株式会社)
    本社住所 〒107-0052 東京都港区赤坂4-2-19 赤坂SHASTA・EAST 4F
    TEL / FAX 03-3560-8083 / 03-3560-8093
    会社設立 2015年6月12日
    資 本 金 1億5001万円 (2016年3月31日現在)
    主要株主 Antuit 100%
    代 表 代表取締役 釼持祥夫
    事業内容 ビジネスの継続的な成果を創る ビックデータ&アナリティクス・ソリューション、デジタルマーケティング・ソリューションの提供
    関連会社 Antuit
    Prognos, Inc.
  • 特徴
  • essentiaは、分析やマイニングの準備として必ず発生する、大量データやログデータを、ビジネス要件に合わせてクレンジング・突き合わせ・紐付けなど、煩雑で困難な事前処理を低コストで効率化します。
  • 提供形態
  • クラウドサービスで提供しているほか、オンプレミスや自社環境向けのソフトウェア提供も開始しています。
  • 提供エディション
  • クラウドサービスで提供しているほか、オンプレミスや自社環境向けのソフトウェア提供も開始しています。
  • 設計ツール特徴
  • Essentiaはビッグデータを効率よく管理し解析するためのプラットフォームです。AWSとAzureのクラウド上でまずは無料でその効果をお試しできます。データ量や解析要件に応じて利用するコンピュータ数を柔軟に拡張できる特徴があります。

    ビッグデータ解析の最大の問題は形式がバラバラの非構造化データです。従来はETLツールなどで対応できていましたが、データ量と種類が爆発的に増大し、時間とコストがかかり過ぎる大きな問題になっています。ビッグデータ解析では80%が前処理にかかると言われています。

    この問題を解決するために我々はEssentiaを開発しました。クラウドに蓄積されている多様な形式の膨大なファイル群を、そのままの状態で、仮想スキーマを構築し、即解析可能にします。

    さらにEssentia独自の並列インメモリーデータ処理エンジンで複雑な解析要件も超高速で解析可能にします。

    Essentiaは R や Python などの高級言語と簡単に連動させることができます。Essentia は Redshift などの高性能ウエアハウスへデータを読み込ませるためだけの前処理ツールとして利用することもできますが、Essentia 独自の並列インメモリー処理エンジンで複雑なデータ解析まで済ませた結果を、使い慣れている Tableau, Qlikview, Excel などのBIツールに取り込んで表示させるなど柔軟な組み合わせが簡単に実現できます。
  • 対応データソース
  • EssentiaはAmazon S3かAzure Blobに蓄積されている、多種多様な形式のファイル群を”そのまま”解析可能にします。従って従来のように、ファイルを複製移動させたり、色々なETL処理をしながら多数の中間ファイルを作る必要がありません。

    データ仮想化はEssenita独自の大変便利な機能です。多様な形式のファイル群を、論理的に一つのスキーマ(表形式で構造化されたデータセット)として抽象化します。EssentiaではこれをCategoryと呼んでいます。

    Category(仮想スキーマ)の利点は、圧縮やアーカイブされている膨大な数のファイル群を”そのまま”解析する効率性だけでなく、いつでもオリジナルのファイルに戻り解析をやり直せるため、中間ファイル作成中の間違いや改ざん問題も解決できることにあります。

    さらに各Category(仮想スキーマ)に簡易SQLで直接問い合わせができます。例えば日毎にZIPアーカイプされているWebログ1年分に対して、ドメイン名別に何件のアクセス記録があるかなど簡単な集計ができます。

    つまり従来は解析の前に必要であったファイルの転送やETL処理など面倒な前処理が全て不要になり作業効率を飛躍的に向上できます。
  • 主な標準機能
  • [essentiaの特長]

    1.超高速処理を実現したファイル管理

    essentiaはデータベースシステムとは異なり、gzipやzip形式の圧縮ファイルをそのまま取り込みます。独自に開発したビッグデータ処理プロセッサは、SQLライクなスクリプトでデータの加工や集計が可能です。テラバイト・数十億件規模のデータから、クロス集計・期間データ作成・マッチング・データ加工などをインメモリで高速に処理します。

    2.圧縮技術で省ストレージを実現、並列分散処理で高いコストパフォーマンス

    essentiaは圧縮ファイルの直接処理が可能なため、必要なストレージはDBの1/4以下で運用可能となります。ファイル単位でそのまま管理するため、世代管理不要や分散・部分バックアップも容易です。
    低コストで長期的にデータを保存することができます。

    パブリッククラウド、ハイブリッドクラウド、オンプレミスでの提供が可能です。データのロードや処理ごとに高効率なMPPエンジンがノードをコントロールして、動的にインスタンスを起動します。処理終了後にはインスタンスを停止するため、クラウド環境の費用を抑えることができます。

    3.ログなど非構造化・非定型データに強く、ETL機能内蔵

    文字列整形、URL日本語デコード、カラム削除・追加などのデータ加工や、複数データ間の相互検索によるデータマッチングなどの機能を備えています。 圧縮ファイルをそのままに高速ストリーミングして、フィルタリングしながらロードできる無駄のない事前処理が可能です。
    アクセス解析ツールRTmetricsのデータ技術を活かしたエンジンで、各種のログやセンサーデータ、セキュリティログなどの非構造化データも高速に処理します。複数システムのデータ突合や非定型データのクレンジング、フラグ化など、圧縮ファイルのままで自在な加工ができるので、従来のDBシステムと比較して事前処理が格段に削減されます。
  • 主なオプション機能
  • 詳細はお問い合わせください
    http://www.antuit.co.jp/about-us/contact-us/
  • 動作環境
  • http://auriq.com/documentation/
  • 課金単位
  • 詳細はお問い合わせください
    http://www.antuit.co.jp/about-us/contact-us/
  • 想定提供価格
  • 詳細はお問い合わせください
    http://www.antuit.co.jp/about-us/contact-us/
  • 試用ライセンス
  • http://www.auriq.com/try-free/
  • 最新版リリース日
  • 2016/08/31 essentia-3.1.1 released
  • 提供元企業
  • 社 名 Antuit株式会社 (アントゥイット株式会社)
    本社住所 〒107-0052 東京都港区赤坂4-2-19 赤坂SHASTA・EAST 4F
    TEL / FAX 03-3560-8083 / 03-3560-8093
    会社設立 2015年6月12日
    資 本 金 1億5001万円 (2016年3月31日現在)
    主要株主 Antuit 100%
    代 表 代表取締役 釼持祥夫
    事業内容 ビジネスの継続的な成果を創る ビックデータ&アナリティクス・ソリューション、デジタルマーケティング・ソリューションの提供
    関連会社 Antuit
    Prognos, Inc.
  • 特徴
  • essentiaは、分析やマイニングの準備として必ず発生する、大量データやログデータを、ビジネス要件に合わせてクレンジング・突き合わせ・紐付けなど、煩雑で困難な事前処理を低コストで効率化します。
  • 提供形態
  • クラウドサービスで提供しているほか、オンプレミスや自社環境向けのソフトウェア提供も開始しています。
  • 提供エディション
  • クラウドサービスで提供しているほか、オンプレミスや自社環境向けのソフトウェア提供も開始しています。
  • 設計ツール特徴
  • Essentiaはビッグデータを効率よく管理し解析するためのプラットフォームです。AWSとAzureのクラウド上でまずは無料でその効果をお試しできます。データ量や解析要件に応じて利用するコンピュータ数を柔軟に拡張できる特徴があります。

    ビッグデータ解析の最大の問題は形式がバラバラの非構造化データです。従来はETLツールなどで対応できていましたが、データ量と種類が爆発的に増大し、時間とコストがかかり過ぎる大きな問題になっています。ビッグデータ解析では80%が前処理にかかると言われています。

    この問題を解決するために我々はEssentiaを開発しました。クラウドに蓄積されている多様な形式の膨大なファイル群を、そのままの状態で、仮想スキーマを構築し、即解析可能にします。

    さらにEssentia独自の並列インメモリーデータ処理エンジンで複雑な解析要件も超高速で解析可能にします。

    Essentiaは R や Python などの高級言語と簡単に連動させることができます。Essentia は Redshift などの高性能ウエアハウスへデータを読み込ませるためだけの前処理ツールとして利用することもできますが、Essentia 独自の並列インメモリー処理エンジンで複雑なデータ解析まで済ませた結果を、使い慣れている Tableau, Qlikview, Excel などのBIツールに取り込んで表示させるなど柔軟な組み合わせが簡単に実現できます。
  • 対応データソース
  • EssentiaはAmazon S3かAzure Blobに蓄積されている、多種多様な形式のファイル群を”そのまま”解析可能にします。従って従来のように、ファイルを複製移動させたり、色々なETL処理をしながら多数の中間ファイルを作る必要がありません。

    データ仮想化はEssenita独自の大変便利な機能です。多様な形式のファイル群を、論理的に一つのスキーマ(表形式で構造化されたデータセット)として抽象化します。EssentiaではこれをCategoryと呼んでいます。

    Category(仮想スキーマ)の利点は、圧縮やアーカイブされている膨大な数のファイル群を”そのまま”解析する効率性だけでなく、いつでもオリジナルのファイルに戻り解析をやり直せるため、中間ファイル作成中の間違いや改ざん問題も解決できることにあります。

    さらに各Category(仮想スキーマ)に簡易SQLで直接問い合わせができます。例えば日毎にZIPアーカイプされているWebログ1年分に対して、ドメイン名別に何件のアクセス記録があるかなど簡単な集計ができます。

    つまり従来は解析の前に必要であったファイルの転送やETL処理など面倒な前処理が全て不要になり作業効率を飛躍的に向上できます。
  • 主な標準機能
  • [essentiaの特長]

    1.超高速処理を実現したファイル管理

    essentiaはデータベースシステムとは異なり、gzipやzip形式の圧縮ファイルをそのまま取り込みます。独自に開発したビッグデータ処理プロセッサは、SQLライクなスクリプトでデータの加工や集計が可能です。テラバイト・数十億件規模のデータから、クロス集計・期間データ作成・マッチング・データ加工などをインメモリで高速に処理します。

    2.圧縮技術で省ストレージを実現、並列分散処理で高いコストパフォーマンス

    essentiaは圧縮ファイルの直接処理が可能なため、必要なストレージはDBの1/4以下で運用可能となります。ファイル単位でそのまま管理するため、世代管理不要や分散・部分バックアップも容易です。
    低コストで長期的にデータを保存することができます。

    パブリッククラウド、ハイブリッドクラウド、オンプレミスでの提供が可能です。データのロードや処理ごとに高効率なMPPエンジンがノードをコントロールして、動的にインスタンスを起動します。処理終了後にはインスタンスを停止するため、クラウド環境の費用を抑えることができます。

    3.ログなど非構造化・非定型データに強く、ETL機能内蔵

    文字列整形、URL日本語デコード、カラム削除・追加などのデータ加工や、複数データ間の相互検索によるデータマッチングなどの機能を備えています。 圧縮ファイルをそのままに高速ストリーミングして、フィルタリングしながらロードできる無駄のない事前処理が可能です。
    アクセス解析ツールRTmetricsのデータ技術を活かしたエンジンで、各種のログやセンサーデータ、セキュリティログなどの非構造化データも高速に処理します。複数システムのデータ突合や非定型データのクレンジング、フラグ化など、圧縮ファイルのままで自在な加工ができるので、従来のDBシステムと比較して事前処理が格段に削減されます。
  • 主なオプション機能
  • 詳細はお問い合わせください
    http://www.antuit.co.jp/about-us/contact-us/
  • 動作環境
  • http://auriq.com/documentation/
  • 課金単位
  • 詳細はお問い合わせください
    http://www.antuit.co.jp/about-us/contact-us/
  • 想定提供価格
  • 詳細はお問い合わせください
    http://www.antuit.co.jp/about-us/contact-us/
  • 試用ライセンス
  • http://www.auriq.com/try-free/
  • 最新版リリース日
  • 2016/08/31 essentia-3.1.1 released

会員登録(無料)

一覧はこちら

今注目のIT用語の意味を事典でチェック!

一覧はこちら

ページの先頭に戻る