« 2013年1月 | トップページ | 2013年3月 »

2013.02.24

対決、ビッグデータ 対 サンプリング

Dsc_1065shadow


IT業界ではBigDataがバズワード化していますね。
IDCも第三のプラットフォームを提唱しその中でビッグデータを取り上げています。

先日読んだ本「統計学は最強の学問か?」でもビッグデータのことにも言及しており、全件探索に意味があるのか?サンプリングし統計処理すればそれでいいのではないかと、書かれていました。

読んでいたときには、「ふーん」だったのですが、頭のどこかに引っかかっていたのでしょう、ふと、ビッグデータ+サンプリングのキーワードでGoogle検索してみたくなり、検索してみると、33万件ヒット.中には、確かに、おもしろいWebもありました。

・データの特性のみに注目した問題設定
・ビッグデータはバズワードか?
・ASCII.jp:“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
・言いたいことはわかる。世の中の無根拠な「ビッグデータ」翼賛のマスコミ
・ビッグデータが“バズワード”から脱せない背景
・ビッグデータを活かせるか?


特に、一番目の宇野さんのPDFを読んでいて、大きいことは良いことなのか?
BigDataは伝統的な統計学は違う、と目覚めました。

Bigdataでやりたいことは、データの固まりを一つに束ね、全体傾向を知り、起こってしまったことを理解したいのではないでしょう。それならば、ランダムサンプリングし伝統的な統計処理に任せればいいです。いわゆるバッチ処理で十分。警視庁捜査一課のエリート集団が捜査本部をたてるような感じですかね。

BigDataでなければできないことは、データがノイズであろうとなかろうと、偏っていようがいまいが、すべてのデータを分類し、クラスタを見つけ、その各クラスタにどんな特性があり、各クラスタが将来どのように動いていくのかを知るために、データを一件一件、しらみつぶしに捜していく、所轄のデカさん的なマイニングにある気がしてきました。

大量のデータを蓄積することと高速に処理することが可能になった今のITのパワーによって、所轄の大きさが限りなく拡大したということでしょうか?

| | コメント (0) | トラックバック (0)

2013.02.17

統計学は最強の学問か?

Plumblossomshadow


統計学がITの人たちに取り上げられる機会が増えてきているようです。Googleは、一番セクシーな職業は統計だというし、IBMもCognosやSPSSをM&Aしているし、MSはJobListingに統計解析をあげるています。IT業界全体ではビッグデータ狂想曲が流れていますからね。統計屋さんからこの状況を見るとどういうことなのか知りたく、一冊の本を手に取り、この週末読んでみました。


統計学が最強の学問である
西内啓
ダイヤモンド社


統計学への窓口として位置づけるべき本ですね。この本一冊で統計というものすべてがわかるわけでもないです。ビッグデータのことは、ばっさり切られていました。そんなデータを全件調査するコストをかけて誤差がどれほどあがるものなのかと。まあ、そのとおりかもしれません。
いっぽう、一言「統計」といっても、その利用形態はまったく違うようです。
統計自体はいろんな分野で利用されているので、まずその基礎概念と基本的な利用事例を説明し、そののち、各分野での利用形態を深掘りし紹介されています。統計屋に6種類くらいある説明が印象に残りました。
1)実体把握を行う社会調査
2)原因究明のための疫学・生命統計学など
3)抽象的なものを測定する心理統計学
4)機械的分類のためのデータ・マイニング
5)自然言語処理のためのテキストマイニング
6)演繹に感心をよせている計量経済学
自分自身は、データマイニング、テキストマイニングに興味がありますが、今時の統計の概念を使いこなすには、もう一度、その道具を揃え、どう使うのか手習いしないと、なかなか使いこなせないなあとおもいはじめました。

| | コメント (0) | トラックバック (0)

2013.02.16

Spring Sun Shine...

Plum20130216shadow


This is the second post in english.
Last time I myself declared I shall make blog post once a month, but I am nearly giving way....

It's 7:12 now. Sun is rising and the sun lights start to come into my room.
I really have a sense taht sun is rising for the sun lights become brighter and brighter in my room.

It was a long term in this winter. But I think spring has come.
Yes Chinese New year festival has held last week in Yokohama chna town and also plum trees began to have thier small blossoms near my house.

Surely Sun light has a power. Just taking a deep breath, I feel the power of sun comes into my body throuh m whole body.


Shall I try to take picutures of plum brossoms near my house this weekend if weather is fine?


| | コメント (0) | トラックバック (0)

2013.02.12

2013年の春。。。

20130211shadow

立春が過ぎ、うちの庭も少しずつ春めいてきました。
ちいさい庭ですが、チューリップ、クレマチス、ビオラが元気になってきました。

先週植えたチューリップ.これがもう、芽が大きくなってきています。成長するスピードが速いです。今年はどんな花を見せてくれるかしら?
クレマチス、これも芽がではじめていました。だいぶ、芽が大きいです。気がつかない私の方に気持ちの余裕がないのかもしれません。
ビオラ、これはもう、ここは私の家よと言わんばかりに元気です。

日差しが春めいてきて、だんだん、庭仕事がたのしくなってきました。


| | コメント (0) | トラックバック (0)

2013.02.10

秩序と無秩序の間で。。。

Waveclock0994shadow

Phillp Ballの「かたち、ながれ、枝分れ」、Barabasiの「Bursts」と読みすすめ、自分の興味関心がどこにあるのか、今ひとつはっきりしませんでしたが、何か方向性が見えてきた気がします。
論理のかたまりであるコンピュータの世界と現実の世界の差が気に掛かっているようです。
世の中、方程式を解いて導き出される厳密解や統計的な平衡状態でもなく、完全に無秩序な荒々しい風景でもなく、多種多様な風景は広がっています。何も音がしない静的な世界だけが広がるだけではないですよね。風のそよぐ音もなく、水のせせらぎの音もなく、とても寂しい世界になってしまうはずです。
量子的なゆらぎ、散逸構造、自己組織化、複雑系ネットワークなどなど21世紀の新概念をコンピュータに取り込み、風がそよぎ、木漏れ日が輝く、世界にどこまで近づけるかトライしてみたい。そういう気持ちがもくもくと湧き続けてるようです。

この気持ちをもう少し究めてみたいと思います。


| | コメント (0) | トラックバック (0)

2013.02.09

クリントン国務長官の退任スピーチ

D9f0b6cc7711ae4afc85128b1d679d6fsh


朝日新聞に米国国務省長官を退官されたヒラリー・クリントンさんが退任のときに国務省ロビーで行ったスピーチに関するワシントン特派員の方の記事がのっていました(無償会員登録要)。クリントンさんは若い頃ずいぶん攻撃的だったようですが、最近はだいぶ円熟の味を出したそうで、今、最も人気のある政治家だそうです。

もしかして、そのスピーチが見れるかなと思い、Youtubeで捜してみました。

ありました。→「こちらです」

スピーチ会場となった国務省ロビーはすごい人だかりです。これだけでも、すごい人気であることがわかりました。ビデオの質もいいです。

スピーチの内容は私でもほぼ理解できる簡潔で本質的な内容でした。うまいです。
国を思い、国のために働く。そのことは、アメリカだから、そうじゃないから、など国の違いなどない普遍的な気持ち。そこには、どこかの国を潰すなんていう怖い考えはないはずです。ビデオには国務省の職員がクリントンさんを囲んでいますが、その人種が多様なことにも驚きました。白人のかたは無論、アフリカ系のひともみえたし、チャドルをまいたイスラム系の女性もみえました。演出?じゃないでしょうね。アメリカの国の成り立ちそのものでしょう。

クリントンさんは若い頃ずいぶん攻撃的だったようですが、最近はだいぶ円熟の味を出したそうで、今、最も人気のある政治家だそうです。女性大統領が将来出現するんでしょうか?

| | コメント (0) | トラックバック (0)

2013.02.03

節分から立春へ

Ball0203shadow


今日は節分、明日が立春。
今日までが冬、明日から春。
ほんとにそんなデジタルには季節は変わっていかない。
三寒四温。寒くなったり、暖かくなったり、それが、いずれ、暖かさが買っていくもの。

今日は、近所の園芸店でチューリップの球根を買ってきました。
いまどきは、もう、園芸店で球根そのものはうっておらず、ポットに3コまとめて植えてあり、すでに芽が出ている球根でした。でも、こちらのほうが1ポット3玉はいっていて210円。お得なんですね。

こういうポットを6コほど購入し、うちにある木の樽性の鉢に植えてみました。
そこで、どっきり!!
土の中からゴキブリが出てきたのです。
でも、まだ、動きが鈍いです。
調べてみると、ゴキブリって、森の中では、腐葉土の中にひそみ、越冬するそうです。
なるほど、うちの樽蜂は、腐葉土をたくさんいれていなので、ゴキブリにとっては、
居心地の良い越冬地だったんですね。
ねがわくば、一匹だけであることを。

虫よりも人の多い、このへんらしい啓蟄だったですね。

| | コメント (0) | トラックバック (0)

« 2013年1月 | トップページ | 2013年3月 »