《説文解字》:壬,位北方也。陰極陽生 ,故《易》曰:“龍戰于野。”戰者,接也 。象人褢妊之形。承亥壬以子,生之敘也 。與巫同意。壬承辛,象人脛。脛,任體也。凡壬之屬皆从壬。
本義:善於使用巧具,勝任事務。
《論語》‧泰伯第八
曾子曰:士不可以不弘毅,任重而道遠,仁以為己任,不亦重乎!死而後已,不亦遠乎!
曾子曰:以能問於不能,以多問於寡;有若無,實若虛,犯而不校;昔者吾友【顏淵】,嘗從事於斯矣。
……
IBM 對維基百科的編輯紀錄資料進行視覺化的呈現。維基百科上總計數兆位元組的文字和圖片正是大資料的例子之一
全球資訊儲存容量成長圖
Cartoon critical of big data application, by T. Gregorius
【定義】是
大數據由巨型資料集組成,這些資料集大小常超出人類在可接受時間下的收集、庋用、管理和處理能力。大數據的大小經常改變 ,截至 2012 年,單一資料集的大小從數兆位元組(TB)至數十兆億位元組(PB)不等。
在一份 2001 年的研究與相關的演講中,麥塔集團 ( META Group,現為高德納)分析員道格‧萊尼(Doug Laney)指出資料增長的挑戰和機遇有三個方向:量(Volume,資料大小)、速(Velocity,資料輸入輸出的速度)與多變(Variety,多樣性),合稱「 3V 」或「 3Vs 」。高德納與現在大部份大數據產業中的公司,都繼續使用 3V 來描述大數據。高德納於 2012 年修改了對大數據的定義:「大數據是大量、高速、及/或多變的資訊資產,它需要新型的處理方式去促成更強的決策能力、洞察力與最佳化處理。」另外,有機構在 3V 之外定義了第 4 個 V:真實性(Veracity)為第四特點。
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。美國在 2012 年就開始著手大數據,歐巴馬更在同年投入 2 億美金在大數據的開發中,更強調大數據會是之後的未來石油。
資料探勘(data mining)則是在探討用以解析大數據的方法。
【應用範例】
大資料的應用範例包括大科學、RFID、感測裝置網路、天文學、大氣學、基因組學、生物學、大社會資料分析、網際網 路檔案處理、製作網際網路搜尋引擎索引、通訊記錄明細、軍事偵查、社群網路 、通勤時間預測、醫療記錄、相片圖像和影像封存、大規模的電子商務等。
【人性關切】
大 數據時代的來臨帶來無數的機遇,但是與此同時個人或機構的隱私權也極有可能受到衝擊,大數據包含了各種個人資訊資料,現有的隱私保護法律或政策無力解決這 些新出現的問題。有人提出,大數據時代,個人是否擁有「被遺忘權」,被遺忘權即是否有權利要求資料商不保留自己的某些資訊,大數據時代資訊為某些網際網路巨頭所控制,但是資料商收集任何資料未必都獲得用戶的許可,其對資料的控制權不具有合法性。 2014 年 5 月 13 日歐盟法院就「被遺忘權」(right to be forgotten)一案作出裁定,判決 Google應根據用戶請求刪除不完整的、無關緊要的、不相關的資料以保證資料不出現在搜尋結果中。這說明在大數 據時代,加強對用戶個人權利的尊重才是時勢所趨的潮流。
無 論人們喜歡與否,我們已經活在了『大數據』的『礦坑』之中,我們本身就是『資訊礦石』。舉例來說,許多便利商店裝設著資訊收集、分析、儲存……的『攝像鏡 頭』,用著『影像辨識』的科技追蹤『消費者』之『視線』,分析『消費者』的性別、年齡、喜好 ……等等數據,可用於廣告、促銷、商品管理……種種用途,企圖達到『別家』或『門可羅雀』,此處卻『人滿為患』的成效。那麼這是『合理』的嗎?應該『同 意』的嗎??想像未來當你進入一個『賣場』,你的『手機』就已經告訴你今天有哪些你『喜歡』的『食品』正在『特價』,挑動著你的『感性欲望』;或許由於其 它非食品業 APP 軟體廠商的大力『宣傳』,你的『手機』上也有那種分析『食品』對『身體健康』影響的 APP,它正提醒你的『理性』再吃就『超標』了……這難道不是…資訊轟炸……更像是……擺脫不掉 ,自己找來的麻煩!!
也許那還是自己可以選擇之『好』的一面。因為不是所有人利用『大數據』來『淘金』,都具有『專業訓練』以及『道德良心』。因此常有『□□ 研究』的『數據』『證實』吃『○○食品』能降低『☆☆指數』如何?如之何的『廣告』??一 旦發生了『事故』,大概全成了那是『個案』以及『例外』的了。就像『風起雲湧』,天未必會下雨,『艷陽高照』,未必天就不下雨。比方說『徵候』是講時間 『先行』的『現象』,與伴隨該『現象』之後『而來』的『現象』,『現象』之間可能會有『統計相關性』,但不一定具有什麼『因果關係』。或許可以讀一讀 《知未知‧既未濟》所言︰
………
『大數據』的確是『任重』而『道遠』,就讓我們介紹那熊熊烈火『派生火焰』 Python blaze 的吧!照亮『大數據』『科學』之道路 !! ─── 《《派生》 Python 作坊【壬】任重道遠》
人拿刀殺人,罪在刀乎?有製殺人之刀者,有人用以殺人,製刀者果無罪耶 ??工具論者 ── 器物與應用無干 ── 有辯也。依其論 ,隻手亦可殺人,練武動機可疑矣!那麼
《荀子‧王制篇》
馬駭輿,則君子不安輿;庶人駭政,則君子不安位。馬駭輿,則莫若靜之;庶人駭政,則莫若惠之。選賢良,舉篤敬,興孝弟,收孤寡,補貧窮。如是,則庶人安政矣。庶人安政,然後君子安位。傳曰:「君者、舟也,庶人者、水也;水則載舟,水則覆舟。」此之謂也。
言︰水則載舟,水則覆舟。到底是誰之過焉!!
所以寫在派生火焰 Python blaze 之先,盼人人能得光明,照亮世間邁向和諧多好呦◎
《LOST 對話錄》
人的存在久遠矣,就像物種的存在一樣,哪有什麼同不同、做不做的事呢?如果存在有道理,那它若不普遍似乎比較神奇的吧!
誰說人們超越了芝諾,人們果真聽明白了他的話嗎??有窮與無窮並不是人給的條件,而只是認知之不足的啊。就像諸神的時代已經遠離,人們怎麼還不知道如何過日子哩!!
我親愛的普羅米修斯火種是不夠用的,哪怕你認為把光明帶給世界仍舊徒然??因為人類根本無法承受那光亮照明的呢!!
䁗奧思,你為什麼這麼說呢?你明知道這火種既不屬於你也不屬於你的孿生兄弟奧德。它從無物反思自身存有迸發出的大霹靂之火而來 。只要還有時間,自然存在機會阿!當虛空歸寂反噬萬有之時,你曾經歷千百萬次,終究無法回想起是吧!!…
─── 摘自《萬象在說話︰思其思考的人!》
【派生火焰生態系】
The Blaze ecosystem is a set of libraries that help users store, describe, query and process data. It is composed of the following core projects:
- Blaze: An interface to query data on different storage systems
- Dask: Parallel computing through task scheduling and blocked algorithms
- Datashape: A data description language
- DyND: A C++ library for dynamic, multidimensional arrays
- Libndtypes: A C/C++ library for a low-level version of Datashape
- Ndtypes-python: Python bindings for libndtypes
- Odo: Data migration between different storage systems
【概觀】
Overview
Blaze Abstracts Computation and Storage
Several projects provide rich and performant data analytics. Competition between these projects gives rise to a vibrant and dynamic ecosystem. Blaze augments this ecosystem with a uniform and adaptable interface. Blaze orchestrates computation and data access among these external projects. It provides a consistent backdrop to build standard interfaces usable by the current Python community.
【安裝】
pi@raspberrypi:~ sudo pip3 install flask Requirement already satisfied: flask in /usr/lib/python3/dist-packages pi@raspberrypi:~ ipython3 Python 3.5.3 (default, Jan 19 2017, 14:11:04) Type "copyright", "credits" or "license" for more information. IPython 5.1.0 -- An enhanced Interactive Python. ? -> Introduction and overview of IPython's features. %quickref -> Quick reference. help -> Python's own help system. object? -> Details about 'object', use 'object??' for extra details. In [1]: from blaze import * /usr/local/lib/python3.5/dist-packages/blaze/server/server.py:17: ExtDeprecationWarning: Importing flask.ext.cors is deprecated, use flask_cors instead. from flask.ext.cors import cross_origin In [2]: 帳戶 = Symbol('帳戶', 'var * {"編號": int, "開戶人": string, "金額": int ...: }') In [3]: 壞帳 = 帳戶[帳戶.金額 < 0].開戶人 In [4]: L = [[1, 'Alice', 100], ...: [2, 'Bob', -200], ...: [3, 'Charlie', 300], ...: [4, 'Denis', 400], ...: [5, 'Edith', -500]] In [5]: list(compute(壞帳,L)) Out[5]: ['Bob', 'Edith'] In [6]: