著者： 渡部 徹太郎
概要
この著作では、ビッグデータを扱う際に必要な知識（どのようなアーキテクチャでどのようなものを作成するか）を十分にえることができる著作です。まず、前半戦でデータの扱い方などを体系的に知識として入れて、中盤ごろからその知識をどのようなアーキテクチャーを使用してデータをどのように整形するかを学習して、終盤からは取得して整形したビッグデータをどのように扱っていくかということについて掘り下げていく内容であった。
内容
概要部で説明した通り、この著作は３部に分けて内容を紹介していこうと考えている。
1部での導入部では、ビッグデータを取り扱ううえでの、基本的な分析の方法というものを紹介している。
２部での内容部では、１部で学んだビッグデータがどのようなものであるかを基本的に学んだところから、さらにビッグデータを取り扱うということについての内容で深堀をして分散処理・機械学習の導入方法、またさらにデータの保持の方法としてデータレイクなどの手法があるということを紹介している。
３部での活用部では、実際に２部まででビッグデータとはどのようなものであるかを学習して、整形する方法について学習を進めてきたところから、そのデータというのを実際に取り扱って活用するために、さらに実際のエンドユーザーに対して、必要なデータのみに整形する。そして、その整形してきたデータというものを、管理する方法というのが記述されていた。
導入部
３部構成として分けた中でも、「ビッグデータ分析」においてもっとも基本的なことが述べられていたのが、この導入部だ。
まず、ビッグデータ分析は、消費者の行動パターンを実際の消費者の動きから予測値を決定し、未来の消費者の行動を予測するために行うものだと考えている。消費者の行動パターンを予測することで、供給側の機会損失を少なくする目的をもって行動することが可能にすることが目的だと考えた。
しかしながら、「ビッグデータ分析」を行うためには、多くの障壁が存在する。１次データ（何も加工していない、参照元のデータ）をどのように整形していくか、どのようにして整形していくか、どのような指標の値を使用するかなどの障壁が存在する。
内容部
この内容部では、実際にビッグデータ分析を行っていく上で、重要となるアーキテクチャなどが多く記載されている。
← ボトルネック
↑ 分散処理
ビッグデータでは、大量のデータを取り扱うことになる。この取り扱いの際に使用する端末のスペックが、十分ではない場合、ボトルネックが発生してしまい分析に大量の時間を使用してしまうため、分散処理を実装することが記載されていた。
上記で述べた、大量のデータを取り扱うといった際に発生するボトルネックの対処方法である分散処理について述べていった。次は、機械学習であるが、こちらに関しては内容を記述するだけで一つのブログが書けそうなので、ここでは記述しない。
そして、データの取り込み方法についてである。ビッグデータを扱い、毎日のように分析を行うことを考えてみると、データの取り込み方法は重要である。こちらは、バッチデータ取集やストリームデータ取集といった方法で取得する。英語の意味から想像できる通り、バッチデータ取得では指定の時間に毎日実行するという形式である。ストリームデータ収集では、データが追加されるごとにどんどん取り込んでいく方式である。それぞれにメリット・デメリットがあるが、実際の運用で何を重要視するかでどちらを選択しても問題はないだろう。実際に、データを取り込んだあとは、必要なデータのみに削る必要がある。これには、SQLやETL処理を使用する方式がある。SQLでは、必要なカラムのみに絞る方法で抽出する。上記の方法を使用して、データを取得し必要のあるデータのみに整形する。
活用部
内容部で記述されていた内容から、実際にその分析結果を使用する側で必要になってくるデータなどにどのように適用していくか。また、そのビッグデータを管理する方法について記述されている。
ビッグデータの活用方法については、この著作の頭出しの部分で紹介されていたが、実際に使用するとなると、このビッグデータの分析結果が簡単に顧客側で確認することが可能である必要がある。そのためには、分析結果を見やすい形式でのUIの整備が必要となる。
ビッグデータの管理についてでは、ビッグデータとは、ここでは消費者の過去の行動パターンの集合であると仮定する。ここで、過去の行動パターンの集計が遅延することがあるかもしれない。そのような場合に、遅延があった状態で分析をすると、その遅延があった際の集計の値だけ誤差が発生するような仕組みになっていると、分析した結果というものが信用のできない数値になってしまう。そのようなことを避けるためには、メタデータを使用した方法でいつ更新された情報であるかなどを管理する必要がある。
上記の内容が、この著作で得られる知識の大まかな部分である。（このような本のブログを書くのは初めてなので、すごい自分に残った部分が大きく残る形となっているため、大きく異なる部分があるかもしれません。申し訳ないです。）
まとめ
この本を読んでの感想
この著作の内容は、一部はもうすでに学習していた内容があったため、自分にとってはそのアーキテクチャが自分の想定しているものであるかの確認、言葉の意味が正しいかという確認ができました。さらに、知らない内容のアーキテクチャを確認することもできたので、ビックデータ分析における知識がかなり身についたと考えます。
おすすめ度(☆４)
初めて、「ビッグデータ分析」を行う人にとって、知識をつけるという観点からみると素晴らしい教科書だとは感じましたが、実践という観点からみるとほぼ０だったと感じるため、☆を一つ減らしていただきました。