ビッグデータコラム Column on Big Data Analytics and Platform

機械学習という言葉がバズワードになって久しく、今では人工知能という名のもとに、商品のレコメンド機能や自動車の自動運転技術、相場の予測など実社会にも次々に応用され始めている。
その機械学習アルゴリズムの中でも近年特に注目を浴びているのが…

当社のコラムでも既に何度か取り上げてきたが、Apache Sparkがいよいよ本格的な流行の様子を見せている。Apache Sparkは下図のようなエコシステムを持っているが、特にその中でも、Spark Streamingによるリアルタイム処理とともに…

本コラムでは、ビッグデータ分析とファストデータ分析を組み合わせるための仕組みである「ラムダアーキテクチャー」の紹介をする。私どもは現在、Apache Sparkを最大限に活用したラムダアーキテクチャーの構想を練っており、その実現方式が固まった際は…

ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく…

現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして…

ビッグデータがバズワードとなって久しい昨今、ネットやメディアを通じて世に出回る情報は質、量ともに充実してきている。ここへきて、当社からこのようなコラム形式で読者の皆さまへ情報をお届けすることになったが、初回で書きたいこととして、私個人に何度も寄せられたご質問について…

今回はビッグデータ分析の始め方について参考になる考え方を紹介します。ビッグデータに関する話題をと言っておきながら、いきなり『スモールデータ』というタイトルから始まるのですが…

昨年の10月に 「ビッグデータ分析の意義と、分析のためのシステム基盤」 というコラムを書きました。その中で、企業にとって新しい価値を創出するためのデータ分析力こそが競争優位の源泉であり、当社はベンダー製品とオープンソースソフトウェアそれぞれのシステム基盤に精通した技術者と…

ビッグデータによってビジネスも市場も社会も、そのあり方が一変すると言われております。そのような変革の中、企業にとっては新しい価値を創出するためのデータ分析力こそが競争優位の源泉となります。ビッグデータ分析の意義と、分析力を実現するためのシステム基盤について解説します。