ささややかなビッグデータ

300万件や5000万件のデータで四苦八苦していたあの頃は何なんだろうと思う。10万件のデータをExcelに落として65536件に入りませんと新入社員の頃、言ってたのは何だったのか。

目の前には5億件のデータが簡単に入っており、いとも簡単に扱うことができる。

5億件のデータを1分で3件正しいかを判断するコツを人間が掴んだとしても、24時間（1日で4320件しか見れない。全部見るのに115740日、約317年間だ。人で言えば、3～4世代、引き継がれる。
でもSQL文だと5分以内で戻ってくる。

そして、これをシュミレーションをする為に30倍、40倍のデータにしている訳であるが、これも、あっという間にできてしまった。。。。家に帰って、朝起きてトーストを食べている間に。

200億件。

このデータの正しさは何なのか？

200億件とわかるのは、count文を発行したからである。決して目で見たわけではない。
金額の合計・平均がわかるのは、sum文、avg文を発行して、コンピューターが返してくれるからである。決して200億件、すべて足して、件数で割った訳ではない。

そんなデータがいとも簡単に手元で扱えるようになったことにに、素晴らしいさと若干恐れも感じる今日この頃である。

各社の買収された製品に思うこと

大手のメーカー、ソフトウェアベンダーが買収を続けているが、それらを使ってみて感じることは、どんどん品質としてはバラツキがでてきていて、無秩序な状態になっているなと感じる。以前は、各社とも、一定の品質があった。品質を語るには、あまりに自分には知識はないが、たとえば、マーケットからは見えずらいが、アーキテクチャ・デザインをした際のソフトウェアの柔軟性、長く使っていく為に必要な製品自体の性能、状態をモニタリング、評価できる機能、コアダンプへの出力内容、保守時における手順のやりやすさ、など、あまりビジネスに関係ないところにおいても、一定の配慮がされていた。不足している製品があっても、それに追いつこうとする意志を感じられた。

しかし、今やマーケットやその製品ビジネスバリューで、あまりにもたくさん買って、製品毎のマーケット別ポートフォリオは存在しているのだが、そこまでかなという感じだ。

なんとなく良さそうなのだが、実際の業務で使ってみると、不備が多々、見受けられるパターンがある。その時、今までの製品は、あれだけの品質を保っているのに、なぜなんだろうと、当然ながらの質問を購入者は思う。

一方、ベンダー側も、一定の品質に保とうと一定の努力はしているのだが、決定的に大事だった技術者が辞めてしまったり、マーケットとしての価値が下がったりして品質改善のコストは少額になったりして、買収された製品の中でも当然ながら、バラツキが出てくる。

うーん。まあ、使える製品、使えない製品として統廃合されていくことは正しいが、今後も延々とこの繰り返しなんだろうなと思うと、これって一体何なのかなー、と思うことが多い。

例えはいいか別として、水や電気やガスのインフラは、一定の品質を保っている。ここは、崩れてはダメな部分だ。崩れないように、日々、保守を実施している。ソフトウェアも同様だ。ただ、ソフトウェアは進化し続けている。その中で一定の品質の安定さが欲しいと思うことが多い。
まあ、銀行やその他、数多くのシステムが一定の正常さで動いているわけ（このブログもそうだし）であり、それを一定の安定さと受け止めればいいわけであるが、決定的に、建築や水やガスとは異なるものだということは、その中にいるものとしては思う。