-大數據 | 知乎問答精選

 



歐洲央行關於 Twitter 和 Google 的關鍵字流行度和股市的關係的論文中的推論是否有道理?

【莊勇的回答(8票)】: 粗略看了下鏈接裡面的文章,文章將twitter和google search 都作為了sentiment的proxy,我覺得可能其他的解釋更加合理。twitter數據和google search的數據有以下這些根本的區別: 1. 用戶發佈twitter 是一種信息供給(information supply)的行為,而google search 表現的是用戶對信息的需求(information demand). 2. 基於twitter數據可以看做情緒(sentiment) 的proxy,而...



金融分析量化系統,高頻交易程序數據庫通常採用哪種方式存貯數據?

【LIKE的回答(59票)】: 做過大量的tick級別數據處理,被東京交易所的壓力測試以及225個basket order折磨過,個人意見是: 1. 直接放棄,Mysql和Oracle在這個問題上就是大坑,沒有任何優勢沒有任何便利,無法大家方便共享分析,查詢極度緩慢等等 2. NoSQL數據庫。不錯的選擇,但是需要看你將來預測的數據量,如果>32G你使用redis起來就已經沒那麼爽了,至於其他的存硬盤類型NoSql DB也是可以...



大數據對財務行業會產生什麼樣的影響?

【黃競一的回答(78票)】: 現在全世界都在談互聯網思維,就是傳統行業老大也要來個互聯網+,不然就是土鱉,就會讓潮流淹沒。這種觀念有沒有過激在此不做討論,可以留給時間去驗證。叔想說的是:影響肯定有,而且是顛覆性的! 1、會計核算將不是財務部門的工作重點,一專多能、甚至多專多能才是財務人的發展方向。 信息化技術正在取代傳統的會計核算,甚至更多的會計職能。通過網絡技術,代理記賬公司的一個...



大數據最核心的價值是什麼?

【HanHsiao的回答(609票)】: 2014年4月29日更新了兩張圖,修改一些拼寫錯誤。 - 下面是一些長篇的討論,這裡我把大數據的核心價值理解為核心商業價值。 「很多人還沒搞清楚什麼是PC互聯網,移動互聯網來了,我們還沒搞清楚移動互聯的時候,大數據時代又來了。」——馬雲卸任演講 本文嘗試從三大產業的角度將大數據的核心商業價值分類討論。 首先例舉一些大數據的典型應用,然後解釋大數據的定義,最後總結大...



Data Science 和 Finance 兩個領域的融合是什麼樣子的?

【董可人的回答(36票)】: 比較狹義一點的Quant一般是指各大投行裡做衍生品定價,信用評估,風險控制之類工作的人,這種工作裡又有很大一部分是涉及隨機過程微分方程等偏理論的數學,對數據分析要求不高;只有另外一部分基於統計的工作才和Data Science相關。兩者的分類可以參見這個問題在華爾街工作的數學博士的研究方向一般是什麼? 如果對使用理論模型進行定價的工作感興趣,很多學校開設的Financial Eng...



洲際交易所為什麼要用 52 億美元收購 Interactive Data?會給自身業務帶來怎樣的好處?

【張小西的回答(4票)】: IDC和ICE本來就是合作多年,更準確的說是和NYSE紐交所。Market Data這塊原屬紐交所科技分部,利潤在70%到75%之間。兩年前,確切地說三年前,ICE兼并紐交所就提出要把Market Data 這塊從科技分部脫離,直接併入主營業務。三年前的目標就很明確,所以這個決定一定都不讓人吃驚。看下圖,這塊業務持續增長,而且訂價權在ICE手裡。 近十年來,各大交易所分分合合,兼并合作反壟斷。這...



希拉裡·克林頓競選中會怎樣運用大數據分析的方法?

【talich的回答(22票)】: 我是外行,試答一下。 選戰如商戰。 商家賣得是貨,營銷的是品牌,政客賣得是競選綱領,營銷的是自己。 所以所謂的 data-driven campaign,其實也是從商家營銷學來的東西,水平呢,不比現在商家營銷的要高,但是,的確要配合競選本身的特色來有所創新。(就比如,這次希拉裡宣佈參選,放在 youtube 上首發,換商家,估計算不得什麼新鮮的作法吧。對,政客總是至少慢半拍的) 基本...



Data Scientist、Data Analyst、Data Engineer 的區別是什麼?

【知乎用戶的回答(38票)】: 首先,不同的位置在不同公司裡的意思和工作內容有可能迥異,所以這裡只說一下行業共識的部分,不代表你看到什麼 title 就能一定得到我所說的這種內容。 Data Analyst: non-technical position,基本要求是別人(data engineer)把 data 整理好了給你,你的主要工作是根據 business users 的要求做 reports,寫總結,等等。 Database Engineer: technical position,分工不同工作...



如果有所有投資者的所有股票委託、交易、持股數據,都有哪些有意思的測算內容?

【袁浩瀚的回答(55票)】: 謝邀 我不是股票方面的專家,但這是一個很有意思的問題。希望更多大牛來展開討論 首先這個數據意味著什麼。我們可以看看一個金融市場,都有哪幾個級別的數據,然後分別獲得的難度是怎麼樣的。 一、日OHLC數據,這個數據應該是最常見的了,Open、High、Low、Close。一般來說,大部分Python和R的包都提供了訪問Yahoo Finance的接口,通過yahoo你就可以拿到這些數據。 二、Throttled...



如何看待 Google 說已經停用 Map Reduce 好多年?

【布丁的回答(58票)】: 昨天我邊盯著一個 MapReduce job 邊聽 Google I/O, 聽到 Urs 說我們都不用 MapReduce 了好桑心,雖然 Google 內部系統通常只有 deprecated 和 experimental 兩種狀態,但真不帶拿 MapReduce 這麼玩兒的不是。 官方 blog[1] 有個簡單解釋,相關論文其實早就出來了。 Today at Google I/O, we are demonstrating Google Cloud Dataflow for the first time. Cloud Dataflow is a full...