Robust Regression

我們新的blogger: Avici 昨天試圖要潑這篇文章但沒成功

The term "robust regression" can be used to mean two slightly different things. The first usage should really be called regression with robust standard errors. In regression with robust standard errors the estimates of the regressioncoefficients are the same as in the standard OLS linear regressionbut the estimates of the standard errors are more robust to failure to meet assumptions concerning normality and homogeneity of variance ofthe residuals. The second way the term robust regression is used involves bothrobust estimation of the regression coefficients and the standard errors. This approach is useful in situations where there are large outliersand observations with large leverage values.

如他所說 這裡的robust事實上有兩種意思:
The first usage should really be called regression with robust standard error
就是你跑完回歸要對估計參數做檢定時 你得知道variance-covariance matrix才行
(底下簡稱VC) 在古典OLS 10條假設下 那很簡單 回歸係數的VC就是s^2*inverse(X'X)
問題是...那10條假設 實際上根本不可能有那麼好的情況XD
如果有變異數不齊一(以後簡稱hetero) 或者自我相關(簡稱auto)
那VC就不是那樣子 可是問題是 沒有人知道真正的hetero 和auto的形式
所以根本沒辦法推導出VC的估計式 此時就只好改用無母數的方法 spectral analysis等
把這些效果考慮進來
第一個做這個問題的就是管老師的老師Halbert White
然後就有所謂VC的估計式robust to conditional hetero
緊接著如果同時有auto加hetero 那又更麻煩了 所以這20年來幾乎所有有名的計量學家都做過這個題目 文獻上稱HAC (hetero-and-auto consistency) VC estimator
所以所謂的robust to hetero-and auto 言下之意就是指
就算有hetero and auto 我的估計依然不受影響
robust一般翻譯做"穩健性"
使用方法很簡單 你一樣是跑個回歸 估計出係數 但是變異數要用HAC就是了
不過這玩意有很多問題低 到現在都還沒完全解決 其實這就是我的碩士論文題目XD
這是個很根本的問題 因為大部分使用的檢定 不是Wald test就是LM test
而這兩者都需要估計VC矩陣 如果連這個都估錯 那所有的推論都是可質疑的
另外robust不是回歸才有 所有統計上的檢定和估計 都有這個問題
就是推導估計檢定的時候 都得作一些假設 有些假設根本和資料特性不合
最經典的莫過於OLS 10條假設...Orz
萬一把這個假設拿掉 我的估計和檢定方式 該怎麼"校正" 才能robust to outlier
這些違反假設條件的資料特性
所以這是很重要的課題 晚近10年 甚至往後的10幾年
把現有的統計通通"robustify"將會是主流研究 也就是把統計推廣到更一般的情況

接著我們來看第二種意義
The second way the term robust regression is used involves both robust estimation of the regression coefficients and the standard errors. This approach is useful in situations where there are large outliers and observations with large leverage values.
一開始研究robust的數學家 就是要看outlier對於回歸係數估計的影響
對於t檢定效率的影響等等
所以一開始robust指的就是 robust to outlier
當然現在robust可以to各式各樣的東西:p
為了搭配你下面一篇 我講一下這幾個的由來 以及為什麼需要這幾個
Median regression,Absolute value regression (L1),
OLS的基本性質 就是minimize sum of square推導出來的
OLS的基本性質 就是minimize sum of square推導出來的
做這件事情 只是一種計算 但如果在隨機的世界 那這個意義就是
你在描繪y的conditional mean, conditional on解釋變數X
所以OLS的基本性質和mean是緊緊相連的
可是mean的基本性質 就是會受極端值影響
解決之道就是 我想找一個也是描述平均性質的統計量 但可不受outlier影響
有哪個統計量具有這種性質 就是median囉
舉例: -1,0,1 -10,0,1 -1000,0,1
這三種不同資料 顯然mean都不一樣 可是median都是一樣
描繪conditional median的估計式就是
min sum(y-a-bx)
所以從這個式子 以及median的特性
才被稱作Median regression,Absolute value regression (L1),
一般其實叫做LAD估計(least absolute deviation)
不過這種估計式的一個特色就是...100% insensitive to outlier
OLS其實是100% sensitive to outlier
所以又有人開發敏感度介於這兩種之間的估計 稱為Huber estimator
R裡面有功能可以求解這種回歸
因為這個不能微分所以頗麻煩 不過可以轉成linear programming的問題來做
當然估計方法換了 VC矩陣也變不一樣了
在這種奇怪的回歸下 VC矩陣到底長什麼樣 該怎麼robustify
都仍在研究當中

模型

我上學期，寒假，最近，都再忙著做出一個可以使用的經濟模型。

我從開始時想作的題目，後來發現對我一個初學者而言有一點困難，最近開始往另一個方向走，沒想到今天就有了突破! 今天心情很好!

我這個禮拜會找我的老師討論，看看我這樣做有沒有什麼應該改進的。目前的模型很簡單，簡單到讓我發毛!! 我還怕說它的經濟意義太顯而易見，可能沒有什麼實質價值。

What is New in the World of Econ: Part 2 - Screening vs. Signaling

Tyler Cowen: A pure “hard to get” strategy fails to satisfy what signaling theorists call – forgive the nerdspeak – “a separating equilibrium.” In other words, it does not sort (or "separate”) the winners from the losers. “Hard to get” is too easy for the losers to mimic... I’ve played “hard to get” with Salma Hayek for years, yet this reticence paid few dividends, not even a courtesy email or party invitation.

Tim Harford: No, Tyler. "Hard to get" isn't a signal, it's a screen. When Salma finally turns up on your doorstep, you'll know for sure that she's serious about you.

Tyler Cowen 認為當一個人玩hard to get 時，這是signaling的一個例子。但是Tim Harford認為是screening。Tyler 是在GMU的教授，而Tim是FT的資深經濟記者。誰對呢? 都對。

Tyler 是對的因為: 當你表現的很hard to get時，對方會認為你有很多選擇，所以不急。若你有很多選擇時，就表示你這個人還不錯。所以當你玩hard to get時，這就成為了signal。但是這也是有問題的!! 因為，就算我沒有選擇，我也可以裝阿! 這時，經濟學家就稱pooling equilibrium，對方就無法分辨了。但是，大家知道東施效顰吧!? 要裝的橡也很難的，因此玩hard to get，再我眼中還是一個不錯的signaling技巧。

Tim 是對的: 當你有很多選擇時，你每一個都很喜歡，但是你想找一個真正喜歡你的，你就可以玩hard to get! 所以當對方死纏爛打，你就可以確定她是真的喜歡你!

不知道大家有沒有發現Tyler跟Tim的差別是什麼? Tyler的情境需要是對方有很多選擇，而你只是想脫穎而出。Tim的情境是你有很多選擇。

我講過，學過賽局就可以了解追女生的所有理論，但是要怎麼追究一翹不通。所以想了解背後的機制與技巧的理論，請上賽局。至於要如何追女生就問自己的父母吧。

Whats in the News: Part 4 - Mandatory Military Service

For years McCain has warned that a draft will be necessary if we don’t boost
military pay, and he has long agitated for mandatory national service.“Those who
claim their liberty but not their duty to the civilization that ensures it live
a half-life, indulging their self-interest at the cost of their self-respect,”
he wrote in The Washington Monthly in 2001. “Sacrifice for a cause
greater than self-interest, however, and you invest your life with the eminence
of that cause. Americans did not fight and win World War II as discrete
individuals.”

這句話是什麼意思呢? 簡單講，就是美國共和黨的總統候選人認為每個老美都應該為國家服務，去當兵。

美國之前在越戰時就是這樣。希望他不要走後退的路。當兵有什麼不好呢? 隨便問一個即將畢業的人就知道了。經濟學家會跟你講機會成本，社會成本等名詞，但是我發現都沒有那幾位當兵的人講的生動。

心事

星期六我去了第五屆的ATCC開幕典禮。

我跟呂悅誠坐在4樓看著一群熱血青年準備展開一場企業革命，充滿信心，滿懷報復。

感覺像是看學弟一樣，心想我去年也是這樣。但是最近兩星期，我竟然懷憂喪志，熱情以消耗殆盡，不知道為何會這樣。我真希望可以找回之前的動力。

Modern Econmen Part 5: Myron Scholes

這個人我們不需要多做介紹了.....

Interview

Econ Concepts: Part 8 - M-M Theorems Violated

上一次我問說為何MM定理不成立。我心裡想的答案如下:

MM第一定理講說公司如何募集資金不重要，但是實證結果告訴我們，融資有融資順位(Pecking Order)，公司最好先運用內部資金，再選擇發行公債，而最好不要發行新股票。原因是MM定理假設完整資訊，但是投資人當然沒有募集資金人所知道的資訊，公司內部的人當然比外面的投資者還了解公司的營運狀況，因此若發行股票投資者會認為這是一種關於公司狀況的Signal。發行股票就表示公司願意將它的所有權分你一點，若公司真的很強大為何要跟我分享它的所有權? 因此投資者將發行新股票視為一種signal說這個公司的營運可能遇到瓶頸，所以發行新股票後，股價就跌。

MM第二定理也是同樣的道理。股利也是一種signal。

因為沒有人答對，所以我的禮卷無法送出。

Q&A: Part 5 - Penalty vs. Rewards

這一次的Q&A是我自己問自己:

若我們仔細觀察社會上的制度，我們會發現做違背道德的東西或行為會被處罰，而實行美德會被讚賞及稱讚。你考試作弊被抓就會被計小過(假設不會被當，成績也不會受到影響)。你找到別人的錢包後交給教官，你就會被記嘉獎。為合會有這種現象?

假設今天有一個老師監督學生考試狀況，若沒有被抓到作弊，老師就記嘉獎，而被抓到也無所謂。這情況與抓到後記小過有什麼差別? 同樣的，我們也可以用同樣的情境比較撿錢包的例子。

處分與嘉獎的效果有何差別? 我也不知道答案。

我們可以將道德因素排除，找一個道德中立的例子。今天有一個工人，老闆答應給他一個固定工資，而有以下兩種方式可以確保他不偷懶:
1. 若發現沒偷懶，給他固定工資加紅利。若發現偷懶，給他固定工資。
2. 若發現沒偷懶，給他固定工資。若發現偷懶，給他固定工資減罰金。
哪一種效果會比較好? 我也不知道。

經濟情歌

寫這首歌的人病的比我還嚴重

Good Books and Movies: Part 6 - An Inconvenient Truth

這個寒假我看了許多電影: 血鑽石，007皇家夜總會，洛基，口白人生(非常棒! 強力推薦)，博物館驚魂夜(好像跟誰去看的，我忘了....)。但是，我今天看了前美國副總統的紀錄片 "不願面對的真相"，發人省思。這部片子警惕世人我們全體人類所(即將)面臨的一大挑戰: 全球暖化現象。

我之前非常懷疑人類對地球的影響力，看完這部片子的確有改變我的想法，我逐漸相信人類的行為對地球的影響是一項不可否認的事實，但是對於這問題的急迫性與嚴重性我仍然保持懷疑的態度。原因很簡單: 地球科學家所使用的電腦模型的準確性與客觀性是一大疑問。但是，懷疑的態度並不表示我不重視這個議題，也不表示我不認為我有責任。反倒是我認為念過經濟學的人更應該積極參與這個議題，因為要解決此問題的根本，就是要解決合作的障礙。

目前參與這議題的人都是科學家，不斷增加人們對於地球的認識，也不斷呼籲政府及民眾我們對地球所造成的破壞。人民的確是開始恐慌，最近天氣的巨大變遷不只對北極熊有影響，對於一些人的生存也造成了威脅。而扭轉劣勢，我們必須要團結起來，降低我們二氧化碳的排放量。但是這有許多問題:
1. Noncooperative 行為: OPEC將一群石油生產國集合在一起限制石油生產量，限制每一個國家只能產多少油以哄抬價格。但是這限制有問題，因為若大家都生產大家一起所制定的量，而我跑去偷偷生產多一點我就可以提升我的profit。假設京都議定書每一個國家都簽了，他成功的機率仍然很低，因為偷偷排放的誘因對於一些發展中的國家會很大! 因此我們必須要制定嚴厲的處罰才能避免此事發生。但是這也有問題。
2. 責任歸屬問題: 若有一個石油國偷偷多生產，其他國家會很快的發現，因為偷跑國很容易認出。事實上，偷跑的國家反而有誘因要承認他就是不合作的國家，因為若他不承認，這些多出來的profit是誰的? 但是在溫室氣體上就不一樣了! 因為溫室氣體是生產過程中的by-product，而要認定他是屬於誰排放的困難度也比較高，所以某某國家沒有誘因去承認氣體是他排放的，而要證明是他排放的也很困難，因此舊算我們找到了一個夠嚴厲的處罰方式，我們也難執行。
3. 開發中國家的問題: 今天討論這個問題時，很難不去討論美國的行為: 他是排放最多的國家，放的屁比非洲與亞洲加起來還多，又不簽京都議定書.....blah blah blah。坦白講，我很不喜歡美國對國際事務的處理方式與態度，但是我認為全球暖化不應該將焦點擺在美國，應該多關心落後國家。雖然美國的排放量驚人，但是若照目前的方式運作下去，中國，印度，俄國，中南美與非洲的溫室氣體排放量才是大家應該關注的焦點。這個問題很矛盾，歐洲之所以很容易的就可以從傳統生產模式(對環境有害)進化到較環保的生產模式就是因為他已經發展到一定的程度。但是，要求印度或非洲轉型是不可能的是，因為轉型要花成本而這些開發中國家目前經濟還未到達那個階段，因此辦不到。然而，要達到那個階段，這些國家就必須依靠傳統生產方式並且釋放溫室氣體。真是一個令人頭痛的問題。

這些問題需要了解策略的經濟學家的參與才能圓滿解決。

Whats in the News: Part 3 - 中國的角色

其實這以經是舊新聞了，但是因為這篇文章太有意義了 (Spence寫Schelling)! 所以一定要跟各位分享。

最喜歡的一句話:

China worries Tom; but typically, it is our approach to China, and not Chinese policy

Schelling 接著強調中國的衛星殺手是對美國態度的一種反應:

What appears not well known in the U.S. is that China has been trying to negotiate treaties on outer space, antisatellite weapons, and limiting the production of fissile material for a number of years, and has not been able to get the U.S. to participate. Since we are clearly developing antisatellite capabilities, accusations against China for escalation are viewed by them and others as hypocritical.

這一篇文章可以看出一位學生對他老師的敬仰。

Econ Concept: Part 8 - M-M Theorems

Modigliani 和 Miller 於1958年發表了一篇論文，內容驚動了經濟學界。

他們在一系列的基本假設下(意思就是說經濟學家很愛用的一些假設...)，發現一個公司的市場價值不會被公司的: 1. 籌資方式 及 2. 股利分配 所影響。

這項結果就是今天我們所熟知的M-M定理。也成為了財金學的重要基石。但是他正確嗎?

直覺告訴我們他是錯的，而且實證結果也證明了我們的直覺是對的，所以哪裡出錯了? 最合理的答案有1000元的禮卷。

Athena? Mr. Bloomberg?

Q&A Part 3: 情人節該送什麼?

這是我老爸考我的問題。他一直很擔心我找不到異性的伴侶。高中時，他還問我一堆問題，搞了老半天，原來是他在一本雜誌上看到的一份"你是否是同性戀"的心理測驗。測驗結果在此不公開。而最近又開始考驗我對異性的了解。

所以情人節應該送什麼? 假設你想追一個女生。首先我們必須了解，情人節是商人們所設計的"囚犯困境"，若你不送，你就完蛋了，但是你送也不一定得到好處。我之前還未了解這個觀念時，還曾經認為不送禮物才能顯示自己很突出。我是錯的! 所以一定要送，但是送什麼?

若你想追的人沒人追，送巧顆粒，花，等非常普通的情人禮物即可。但是若你想追的人是很多人的夢中情人 (你很自不量力喔!?)，那就要花心思了，因為花跟巧顆粒對她而言都習以為常了。送情人節禮物是囚犯困境所害的，但是若你送特別的，令她感動的禮物，你仍然有機會脫離囚犯困境，贏得美人歸。若是我，我會寫詩。

我當時已囚犯困境這個例子解釋給我父親，他神情凝重，臉上掛著"憂心"兩個字。

原來我這些年來一直都做錯了

情人節快到了。給大家一個小建議:

美國一項研究顯示，人類的左耳對接收與識別有關情感的字句，例如「我愛你」等甜言蜜語，比右耳來得敏銳，因此如果想對情人示愛，最好站在對方的左邊。

Econ Concept: Part 7 - The very basics of Asymmetric Information

資訊不對稱是近代個體經濟學上發展最蓬勃的領域。從最早期，George Akerloff所寫的二手車市場，到現在的principal-agent mode以及我之前所寫的所有經濟學文章都是資訊經濟學的範疇，資訊經濟學仍然是最有吸引力的經濟學領域。

我之前有貼關於為何你無法買一部好的二手車的影片。

資訊不對稱會造成許多問題，而無法買到一部好的二手車只是一個例子。簡單而言可分為兩大類:
1. 逆選擇 - 當你無法觀察對方的 "特徵"。例如，她的偏好。
2. 道德危機 - 當你無法觀察對方的 "行為"，只能觀察最後的結果。

這些問題是有解決之道的:
1. Screening - 無法觀察的一方設計一個機制，使對方的"特徵"自然呈現。
2. Signaling - 無法被觀察到的一方利用高成本的行動，證明自己是什麼樣的人。

而光是這些問題就夠經濟學家討論幾十年了。而清大現在也開始討論。我們現在有study group討論這些內容以及最新的發展。想參加的人，我們都歡迎。

1997年的Google

1997年的Google長這個樣子---->老樣子

時間過的真快。想說我當初那時還在用yahoo。

Whats in the News: Part 3 - 各國UN大使何他們所累積的罰款

記不記得前幾個星期有報導指出，各國UN使節在紐約所累積的罰款數，那數字好像很丟臉。

最近有研究將各國的罰款做分析，得出了相當驚人的結果:

There is a strong correlation between illegal parking [of foreign diplomats in
the United States] and existing measures of home country corruption. Even when
stationed thousands of miles away, diplomats behave in a manner highly
reminiscent of officials in the home country.

所以看來大家都把壞習慣帶到國外去了。

這是在Mankiw的部落格上找到的。

Econ Concept: Part 6 - Futures

什麼是期貨(Futures)?

這個video解釋的很好!

世界上最老的動物

這烏龜真厲害

我家的好像覺得最近的天氣很冷。

你在網上都幹麻?

我常用的網站:

IMDB.com - 查詢電影相關資訊

ESPN.com - 看體育新聞

AMAZON.com - 看書評

WIKIPEDIA.com - 查冷知識

YOUTUBE.com - 看搞笑影片

GOOGLE.com - 用這個收尋

YAHOO.com - 用這個看新聞

MARGINALREVOLUTION.com - 用這個看經濟的八卦

其他就不公佈了，可能兒童不宜!