ささややかなビッグデータ

300万件や5000万件のデータで四苦八苦していたあの頃は何なんだろうと思う。10万件のデータをExcelに落として65536件に入りませんと新入社員の頃、言ってたのは何だったのか。

目の前には5億件のデータが簡単に入っており、いとも簡単に扱うことができる。

5億件のデータを1分で3件正しいかを判断するコツを人間が掴んだとしても、24時間（1日で4320件しか見れない。全部見るのに115740日、約317年間だ。人で言えば、3～4世代、引き継がれる。
でもSQL文だと5分以内で戻ってくる。

そして、これをシュミレーションをする為に30倍、40倍のデータにしている訳であるが、これも、あっという間にできてしまった。。。。家に帰って、朝起きてトーストを食べている間に。

200億件。

このデータの正しさは何なのか？

200億件とわかるのは、count文を発行したからである。決して目で見たわけではない。
金額の合計・平均がわかるのは、sum文、avg文を発行して、コンピューターが返してくれるからである。決して200億件、すべて足して、件数で割った訳ではない。

そんなデータがいとも簡単に手元で扱えるようになったことにに、素晴らしいさと若干恐れも感じる今日この頃である。