大きなデータがあなたの家に侵入すると

私はこれらのアイデアがどこから来ているのか分からないし、おそらく私は最初にそれを考えているかもしれませんが、私は自宅で大きなデータがどのくらいの大きさで影響を与えるか、少なくともどのようにできるかを考えています。今日知られている「ビッグデータ」は、標準または従来の手段で処理するには大きすぎるデータセットを指します。その定義を使用すると、何が私を作ってくれるのでしょうか、誰かが大きなデータが私の家に向かうと思いますか?それは完全な質問です。あなたがそれを知ったら答えは、まったくあなたを驚かせることはありません。

ビッグデータ分析、Big Data Analytics、DataRobotはデータサイエンスの欠点を自動化することを目指している、Big Data Analytics、MapR創設者のJohn Schroederが辞任し、交換するCOO

データが指数関数的に増加することは確かに驚くことではありません。データの量だけでなく、各データコンポーネントのサイズも大きくなります。 1.44MBフロッピーディスクを覚えていますか? 15年前、私はオペレーティングシステム全体を単一のフロッピーディスク(DOS、XENIX、Minixなど)にコピーすることができました。 10年前、私は2つのそのようなフロッピーディスク(Xで)からLinuxを実行しました。その時、Windowsは単一のCDディスクに入っていました。 CD-ROMディスクには〜700MBの容量があり、これは巨大だと思いました。その後、DVDは莫大な容量(4GB / 8GB)で提供されました。

私は、ストレージがデータよりも先に拡張しなければならないと考えています。 Windowsは現在、これらの大容量DVDの1つを配信する必要があります。 DSLRカメラの1枚の写真の重さは4〜5メガバイトです。シンプルで単一のMicrosoft Word文書でも、古いディスケットには大きすぎます。

私の最初の親指のドライブは64MBだったし、とてもクールだと思った。今私はもののためだけに32GBのものが必要です。

私はあなたがその絵を手に入れたと思う。

データはより大きい。それ以上のことがあります。データは時間とともに指数関数的に増加します。

自宅での大きなデータの考え方はそれほど驚くべきことではありません。

紙、頭、ウェブ、ディスク、サムドライブ、フロッピー(冗談)、またはクラウド上のさまざまな場所に保存されているすべてのデータポイントについて考えてみましょう。私は個人的にDropboxに50GBのデータを保存します。ほとんどの写真ですが、そこにはたくさんの書類もあります。それは1人の男のための多くのデータです。

あなたが所有するすべての音楽を考えてみてください。さまざまな電子機器、家庭用品、電化製品、自動車などのすべての請求書、取引、電話、テレビ番組、銀行業務、医療記録、保守記録をすべて追加してください。

これは多くのデータを調べるためのものです。あなたが収集したすべてのデータの検討を開始すると、恐らく低テラバイトの範囲に入るでしょうか?それは大きいです。データの量が急激に増加すると考えると、さらに大きくなります。それは手間がかかりません。

あなたが人生のすべてのデータをデジタル化した場合、どこに保管しますか?

まったく。多くの選択肢はありません。

どうやってそれを保管しますか?

まったく。それがテクノロジーの問題です。

私たちは、個人データのための大きなデータソリューションが必要です。それは、安全で、柔軟で、安価で、拡張可能で、どこからでもアクセス可能で、管理が容易でなければなりません。

クラウドはデータストレージにとって最も有望な候補です。しかし、その雲はどこに存在するでしょうか?あなたの家で?データセンターでは?複数のデータセンターでは?

答えは上記のすべてです。

上記のすべての要件を満たすためには、どこにでも存在する必要があります。データセンターにはデータを格納する容量がないため、私たちは責任を負う必要があります。そのためには、ストレージ、CPU、およびメモリの形で集合的なクラウドに容量を「寄付」する必要があります。

ある会社がありますが、その名前は私のところから逃げます(申し訳ありません)。クラウドに参加すると、クラウドにデータが格納されている場所や他のユーザーのデータが格納されているストレージが寄付されます。そのデータの一部はディスクにストライプ化され、一部は他の場所にも格納され、暗号化され、非常にフェイルセーフです。

個人的な大規模なデータクラウドを考えるときは、SETI @ homeプロジェクトについて考えてみてください。 SETI @ homeは、あなたのコンピューティングパワーを利用してそのクエストを支援する地球外生活を検索するプロジェクトです。 BOINCクライアントも使用する他の価値あるプロジェクトがあります。私はその研究をあなたに任せます。

私のここでのポイントは、大きなデータがあなたの家を大きな方法で侵略しようとしていることです。私がシリコンバレーにいて、スマートで若い起業家の心を利用することができれば、私はその解決策を世界にもたらすでしょう。しかし、私はそれを人たちに任せなければなりません。

ですから、このクエストに興味がある人にとっては、本当に解決すべき2つの問題があります

1つはデータのデジタル化であり、もう1つはデータの格納です。私はデータをどのように保存することができ、どのように個人の大きなデータクラウドに入ることができるのかを説明しました。データのデジタル化はしばらく考えなければならないものですが、手動入力、スキャン、他のソースからのスクレイピング、トランザクションからの自動入力が必要になります。

私はちょうど “ビッグブラザー”を発明しましたか?あるいは、私は人々に紙の負担、複数の記録、データの複数のフォーマットの負担から解放し、災害の場合のデータ損失を防ぎましたか?

教えてください。

大きなデータを家に持ち帰ることになると思いますか?必要があると思いますか?私の計画を履行するのにどれくらいの時間がかかると思いますか?話を戻して知らせてください。

LinkedInが新しいブログプラットフォームを発表

これはBig OLAPの時代ですか?

DataRobotは、データサイエンスの果実を自動化することを目指しています

MapRの創設者John Schroederが辞任し、COOが辞任