【鼎革‧革鼎】︰ Raspbian Stretch 《三‧戊》

壬一

壬二

壬三

《説文解字》:壬,位北方也。陰極陽生 ,故《易》曰:“龍戰于野。”戰者,接也 。象人褢妊之形。承亥壬以子,生之敘也 。與巫同意。壬承辛,象人脛。脛,任體也。凡壬之屬皆从壬。

本義:善於使用巧具,勝任事務。

論語》‧泰伯第八

曾子曰:士不可以不弘毅任重道遠,仁以為己任,不亦重乎!死而後已,不亦遠乎!

曾子曰:以能問於不能,以多問於寡;有若無,實若虛,犯而不校;昔者吾友【顏淵】,嘗從事於斯矣。

……

BigData_2267x1146_trasparent

Viegas-UserActivityonWikipedia

IBM 對維基百科編輯紀錄資料進行視覺化的呈現。維基百科上總計數兆位元組的文字和圖片正是大資料的例子之一

Hilbert_InfoGrowth

全球資訊儲存容量成長圖

Big_data_cartoon_t_gregorius

Cartoon critical of big data application, by T. Gregorius

根據維基百科詞條,現今『大數據』的
定義】是

大數據由巨型資料集組成,這些資料集大小常超出人類在可接受時間下的收集、庋用、管理和處理能力。大數據的大小經常改變 ,截至 2012 年,單一資料集的大小從數兆位元組(TB)至數十兆億位元組(PB)不等。

在一份 2001 年的研究與相關的演講中,麥塔集團 ( META Group,現為高德納)分析員道格‧萊尼(Doug Laney)指出資料增長的挑戰機遇三個方向(Volume,資料大小)、(Velocity,資料輸入輸出的速度)與多變(Variety,多樣性),合稱「 3V 」或「 3Vs 」。高德納與現在大部份大數據產業中的公司,都繼續使用 3V  來描述大數據。高德納於 2012 年修改了對大數據的定義:「大數據是大量、高速、及/或多變的資訊資產,它需要新型的處理方式去促成更強的決策能力、洞察力與最佳化處理。」另外,有機構在 3V 之外定義了第 4 個 V:真實性(Veracity)為第四特點。

大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。美國在 2012 年就開始著手大數據,歐巴馬更在同年投入 2 億美金在大數據的開發中,更強調大數據會是之後的未來石油

資料探勘(data mining)則是在探討用以解析大數據的方法。

應用範例

大資料的應用範例包括大科學、RFID、感測裝置網路、天文學、大氣學、基因組學、生物學、大社會資料分析、網際網 路檔案處理、製作網際網路搜尋引擎索引、通訊記錄明細、軍事偵查、社群網路 、通勤時間預測、醫療記錄、相片圖像和影像封存、大規模的電子商務等。

人性關切

大 數據時代的來臨帶來無數的機遇,但是與此同時個人機構隱私權也極有可能受到衝擊,大數據包含了各種個人資訊資料,現有的隱私保護法律或政策無力解決這 些新出現的問題。有人提出,大數據時代,個人是否擁有「被遺忘權」,被遺忘權即是否有權利要求資料商不保留自己的某些資訊,大數據時代資訊為某些網際網路巨頭所控制,但是資料商收集任何資料未必都獲得用戶的許可,其對資料的控制權不具有合法性。 2014 年 5 月 13 日歐盟法院就「被遺忘權」(right to be forgotten)一案作出裁定,判決 Google應根據用戶請求刪除不完整的、無關緊要的、不相關的資料以保證資料不出現在搜尋結果中。這說明在大數 據時代,加強用戶個人權利尊重才是時勢所趨的潮流。

無 論人們喜歡與否,我們已經活在了『大數據』的『礦坑』之中,我們本身就是『資訊礦石』。舉例來說,許多便利商店裝設著資訊收集、分析、儲存……的『攝像鏡 頭』,用著『影像辨識』的科技追蹤『消費者』之『視線』,分析『消費者』的性別、年齡、喜好 ……等等數據,可用於廣告、促銷、商品管理……種種用途,企圖達到『別家』或『門可羅雀』,此處卻『人滿為患』的成效。那麼這是『合理』的嗎?應該『同 意』的嗎??想像未來當你進入一個『賣場』,你的『手機』就已經告訴你今天有哪些你『喜歡』的『食品』正在『特價』,挑動著你的『感性欲望』;或許由於其 它非食品業 APP 軟體廠商的大力『宣傳』,你的『手機』上也有那種分析『食品』對『身體健康』影響的 APP,它正提醒你的『理性』再吃就『超標』了……這難道不是…資訊轟炸……更像是……擺脫不掉 ,自己找來的麻煩!!

也許那還是自己可以選擇之『好』的一面。因為不是所有人利用『大數據』來『淘金』,都具有『專業訓練』以及『道德良心』。因此常有『□□ 研究』的『數據』『證實』吃『○○食品』能降低『☆☆指數』如何?如之何的『廣告』??一 旦發生了『事故』,大概全成了那是『個案』以及『例外』的了。就像『風起雲湧』,天未必會下雨,『艷陽高照』,未必天就不下雨。比方說『徵候』是講時間 『先行』的『現象』,與伴隨該『現象』之後『而來』的『現象』,『現象』之間可能會有『統計相關性』,但不一定具有什麼『因果關係』。或許可以讀一讀 《知未知‧既未濟》所言︰

………

大數據』的確是『任重』而『道遠』,就讓我們介紹那熊熊烈火『派生火焰』 Python blaze 的吧!照亮『大數據』『科學』之道路 !! ─── 《《派生》 Python 作坊【壬】任重道遠

 

人拿刀殺人,罪在刀乎?有製殺人之刀者,有人用以殺人,製刀者果無罪耶 ??工具論者 ── 器物與應用無干 ── 有辯也。依其論 ,隻手亦可殺人,練武動機可疑矣!那麼

荀子‧王制篇

馬駭輿,則君子不安輿;庶人駭政,則君子不安位。馬駭輿,則莫若靜之;庶人駭政,則莫若惠之。選賢良,舉篤敬,興孝弟,收孤寡,補貧窮。如是,則庶人安政矣。庶人安政,然後君子安位。傳曰:「君者、舟也,庶人者、水也;水則載舟,水則覆舟。」此之謂也。

言︰水則載舟,水則覆舟。到底是誰之過焉!!

所以寫在派生火焰 Python blaze 之先,盼人人能得光明,照亮世間邁向和諧多好呦◎

《LOST 對話錄》

人的存在久遠矣,就像物種的存在一樣,哪有什麼同不同、做不做的事呢?如果存在有道理,那它若不普遍似乎比較神奇的吧!

 誰說人們超越了芝諾,人們果真聽明白了他的話嗎??有窮與無窮並不是人給的條件,而只是認知之不足的啊。就像諸神的時代已經遠離,人們怎麼還不知道如何過日子哩!!

我親愛的普羅米修斯火種是不夠用的,哪怕你認為把光明帶給世界仍舊徒然??因為人類根本無法承受那光亮照明的呢!!

䁗奧思,你為什麼這麼說呢?你明知道這火種既不屬於你也不屬於你的孿生兄弟奧德。它從無物反思自身存有迸發出的大霹靂之火而來 。只要還有時間,自然存在機會阿!當虛空歸寂反噬萬有之時,你曾經歷千百萬次,終究無法回想起是吧!!…

─── 摘自《萬象在說話︰思其思考的人!

 

【派生火焰生態系】

The Blaze Ecosystem

The Blaze ecosystem is a set of libraries that help users store, describe, query and process data. It is composed of the following core projects:

  • Blaze: An interface to query data on different storage systems
  • Dask: Parallel computing through task scheduling and blocked algorithms
  • Datashape: A data description language
  • DyND: A C++ library for dynamic, multidimensional arrays
  • Libndtypes: A C/C++ library for a low-level version of Datashape
  • Ndtypes-python: Python bindings for libndtypes
  • Odo: Data migration between different storage systems

 

【概觀】

Overview

Blaze Abstracts Computation and Storage

Several projects provide rich and performant data analytics. Competition between these projects gives rise to a vibrant and dynamic ecosystem. Blaze augments this ecosystem with a uniform and adaptable interface. Blaze orchestrates computation and data access among these external projects. It provides a consistent backdrop to build standard interfaces usable by the current Python community.

 

【安裝】

pi@raspberrypi:~ sudo pip3 install blaze Collecting blaze   Downloading https://www.piwheels.hostedpi.com/simple/blaze/blaze-0.10.1-py3-none-any.whl (471kB)     100% |████████████████████████████████| 481kB 259kB/s  Collecting sqlalchemy>=0.8.0 (from blaze)   Downloading SQLAlchemy-1.1.14.tar.gz (5.2MB)     100% |████████████████████████████████| 5.2MB 38kB/s  Collecting psutil (from blaze)   Downloading psutil-5.3.1.tar.gz (397kB)     100% |████████████████████████████████| 399kB 165kB/s  Collecting odo>=0.4.0 (from blaze)   Downloading https://www.piwheels.hostedpi.com/simple/odo/odo-0.5.0-py3-none-any.whl (130kB)     100% |████████████████████████████████| 133kB 162kB/s  Requirement already satisfied: flask>=0.10.1 in /usr/lib/python3/dist-packages (from blaze) Collecting flask-cors (from blaze)   Downloading Flask_Cors-3.0.3-py2.py3-none-any.whl Collecting toolz (from blaze)   Downloading https://www.piwheels.hostedpi.com/simple/toolz/toolz-0.8.2-py3-none-any.whl (54kB)     100% |████████████████████████████████| 61kB 102kB/s  Collecting multipledispatch>=0.4.7 (from odo>=0.4.0->blaze)   Downloading multipledispatch-0.4.9-py2.py3-none-any.whl Requirement already satisfied: networkx in /usr/lib/python3/dist-packages (from odo>=0.4.0->blaze) Requirement already satisfied: numpy>=1.7 in /usr/lib/python3/dist-packages (from odo>=0.4.0->blaze) Collecting datashape>=0.5.0 (from odo>=0.4.0->blaze)   Downloading https://www.piwheels.hostedpi.com/simple/DataShape/datashape-0.5.2-py3-none-any.whl (59kB)     100% |████████████████████████████████| 61kB 101kB/s  Requirement already satisfied: pandas>=0.15.0 in /usr/lib/python3/dist-packages (from odo>=0.4.0->blaze) Requirement already satisfied: Six in /usr/local/lib/python3.5/dist-packages (from flask-cors->blaze) Requirement already satisfied: python-dateutil in /usr/local/lib/python3.5/dist-packages (from datashape>=0.5.0->odo>=0.4.0->blaze) Building wheels for collected packages: sqlalchemy, psutil   Running setup.py bdist_wheel for sqlalchemy ... done   Stored in directory: /root/.cache/pip/wheels/9f/cc/4b/d2645b72ec1ba3dd72d7ae384c431cf56bae03918f38c4e5e5   Running setup.py bdist_wheel for psutil ... done   Stored in directory: /root/.cache/pip/wheels/bc/00/68/b4cbf1017e55880ef2afd1a248a1c88311f38a574c8929d687 Successfully built sqlalchemy psutil Installing collected packages: sqlalchemy, psutil, multipledispatch, toolz, datashape, odo, flask-cors, blaze Successfully installed blaze-0.10.1 datashape-0.5.2 flask-cors-3.0.3 multipledispatch-0.4.9 odo-0.5.0 psutil-5.3.1 sqlalchemy-1.1.14 toolz-0.8.2 pi@raspberrypi:~ sudo pip3 install flask
Requirement already satisfied: flask in /usr/lib/python3/dist-packages
pi@raspberrypi:~ </pre>    <span style="color: #808080;">【展示】</span> <pre class="lang:default decode:true ">pi@raspberrypi:~ ipython3
Python 3.5.3 (default, Jan 19 2017, 14:11:04) 
Type "copyright", "credits" or "license" for more information.

IPython 5.1.0 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: from blaze import *
/usr/local/lib/python3.5/dist-packages/blaze/server/server.py:17: ExtDeprecationWarning: Importing flask.ext.cors is deprecated, use flask_cors instead.
  from flask.ext.cors import cross_origin

In [2]: 帳戶 = Symbol('帳戶', 'var * {"編號": int, "開戶人": string, "金額": int
   ...: }')

In [3]: 壞帳 = 帳戶[帳戶.金額 < 0].開戶人

In [4]: L = [[1, 'Alice',   100],
   ...:      [2, 'Bob',    -200],
   ...:      [3, 'Charlie', 300],
   ...:      [4, 'Denis',   400],
   ...:      [5, 'Edith',  -500]]

In [5]: list(compute(壞帳,L))
Out[5]: ['Bob', 'Edith']

In [6]: