第346章 謔！
——————————————
2021年10月18日，周一。
上午思政課。
點名舉手答到才能下課放學走人，這套點名體係我願稱之為絕殺。思政作業又是寫斷手的一天。
下午焦藏藏仍然在馬負乘位置。馬濤日常學習。
馬飛下午去醫院檢查腰上的淤傷。皮下軟組織增生，就是上次打籃球被那個人的肘子戳了。倒是沒啥大問題，但是要等很久自愈，但是不戳它倒也不痛了。
晚上馬濤和焦藏藏去北邊拿快遞順便吃飯，碰上了小芳和他朋友。
小武喊人幫忙搬快遞小芳都不積極了，或為轉折點。
晚上馬飛馬濤阿龍焦藏藏一起回去。
……
——————————————
2021年10月19日，周二。
上午是英語課。下午是數學課。當然，碩士生課程都有其名字，但焦藏藏就是叫英語、數學課。前幾周按照焦藏藏製定的自己的培養方案，隻開四門課程，思政課《新時代中……》，英語課《碩士生英語》，數學課《矩陣分析》，專業必修《機器學習》。馬飛今天倒是一整天，上午下午晚上一天的課。
英語課講到大數字的念法，有個小環節請個同學挑兩位同學聽寫三個大數字，那個同學選的是第一排的胡qr，他直接點了室友焦藏藏上去，另一個是實驗室小夥伴。
焦藏藏第一個數字聽寫直接節目效果拉滿，自帶喜感。
……
下午到晚上焦藏藏在準備機器學習課程展示，結果準備不完，然後晚上回寢室用電腦電量繼續肝，肝到第二天淩晨兩點半電腦沒電，然後早上六點又起來繼續搞到八點上課前。
午餐是馬濤和焦藏藏去北苑吃的。馬飛在後麵被落下了，打電話發消息罵老焦。
下午午休後焦藏藏自然去馬負乘座位準備機器學習展示。
晚餐馬飛馬濤和焦藏藏去南苑吃麵，然後馬濤配鑰匙。
回實驗室學習之前馬飛馬濤老焦在樓梯大中庭繼續聊天。
晚自習很多人有那個“一麵旗幟”任務，小武下去給大一講課就拉著戴文馬濤老焦一起。
晚上實驗室侯阿龍他們項目好像要通宵，焦藏藏搞不完準備一起在實驗室通宵，結果最後他們去公司還是怎麽就沒通宵，焦藏藏就隻能回寢室了。
馬飛馬濤等焦藏藏，馬飛直接又生氣氣了。本來英語課馬飛就覺得被搞了。雖然好像是馬濤和焦藏藏想要忠言，可惜逆耳。
……
——————————————
2021年10月20日，周三。雨。
上午機器學習。
焦藏藏上的時候，全場節奏直接帶起來。
媽的焦藏藏能講他喵一個小時。
“他好像真的想讓我們明白。”有人在課下尿尿時說。
“多虧了他，我們組今天不用講了，我們PPT都沒做好。”
“雀食講的牛逼。”
“誒？這不就是嗎？”一個人看見了焦藏藏，“對了，哥們兒，你叫什麽名字？”
“我叫焦藏藏。”焦藏藏這樣說著。
“牛逼啊！”
“我隻是準備久了一點。”焦藏藏謙虛。
“下一次要是你在我們組那豈不是帶飛？”
.
回到位置，一圈馬飛馬濤阿龍阿正小武驚歎，甚至馬飛開玩笑說後麵的女生想認識一下你。
群裏麵也是一陣爆炸驚歎。
【小武同學】請把老焦牛逼
【小武同學】打在公屏上
【小武同學】“這裏我就不點人翻譯了“
到後麵已經工作的小義都知道焦藏藏這事了：
【小義】老焦牛啊
【小義】沒有對手了
【小義】以後老焦是我的榜樣
【小義】兩個月不到考上研究生
【小義】在學校裏摘星攬月
【小義】i了i了
……
關於老焦展示的梗：
“他們倆做了ppt，但我想用自己的PPT！。”
“這裏就不找同學翻譯了。”
“雖然老師不讓我推導。”
“有問題嗎？我感覺前麵講的很清楚了。沒有問題我溜了。”
……
阿正分享他實驗室群聊關於焦藏藏的部分：
【王jq】這講ppt的老哥真厲害啊
【王jq】我被他人格魅力迷住了
【田y】多厲害
【群主阿正】牛批吧
【田y】那你不得起來問他幾個問題
【群主阿正】焦藏藏
……
研究生這兩個月的“低保”發到銀行卡了。馬飛們歡慶！雖然每個月就600塊，但是就是開心。
.
群聊早已是跨時間聊天了。
.
雖然焦藏藏說下午去網吧，但其實沒有去。晚上八點睡到了十點半。焦藏藏心裏奇怪怎麽定時器沒響，原來是沒按開始。
馬飛有組會。
小芳說下午的機器學習也有個老焦，講了很久，逼得老師規定每組講15分鍾。
焦藏藏今天跳繩到了，結果下雨馬飛馬濤都沒被老焦喊動。
馬飛在七年群裏發幫點信息結果半個小時沒人有消息，氣的馬飛直接轉讓群主給焦藏藏。然後高情商小夥兒阿龍出場。
馬濤分享LOL手遊盲僧精彩操作，感歎“鋼琴家”。
小芳“反智杠精”屬性仍然長期存在。
馬飛似乎心態護盾增強了許多，但對於搞心態和忠言逆耳有時候會模糊不清以至於破防。
盛學妹是最近搞馬飛心態的優秀密碼。
.
陰雨讓人低沉。
大概馬負乘回來的時候就是好天氣了。結果說馬負乘一個星期可能都出差回不來。北京三環內生活水平很高，他每天都是貼錢活著。
……
下麵給大家分享一下焦藏藏的稿子文字部分，雖然講的時候也沒咋按照稿子講，隻能說作了個參考。（下麵的部分建議略過不看）……
【ppt第一麵】
老師同學們上午好，我是這一組的主講人焦藏藏，另外兩個組員是汪yk 和張xb ，他們倆都做了ppt，收集資料的主要是汪yk，汪yk的ppt也做的相對好一些，前天晚上他們把PPT給我，我一看，覺得照著念也感覺不通順，為了給同學們呈現更好的課堂展示，我決定按照自己的思路來講，所以我也做了ppt。
我們組要講的是LDA和MMC，LDA是線性判別分析Linear Discriminant Analysis，MMC是最大間距準則Maximum Margin Criterion。
我兩個組員的ppt要麽把MMC放在LDA前麵，要麽把它們混在一起，而我認為LDA應該放在MMC前麵講，等我講完我相信大家就明白為什麽LDA在前MMC在後了。
老師要求我們著重講MMC，而讓我們比較為難的就是MMC，因為它的資料比其他的難找許多。難講也要講，我們現在來看目錄。
【目錄】
（念PPT）
【導言-1】
看這張ppt，這張ppt是我們能夠找到的我們這門課的課程資料裏唯一的一張提到MMC的ppt，掃一眼，這張ppt說MMC是解決小樣本問題的常用方法之一，好，這裏留個印象，一會兒有用。
【導言-2】
這裏有張圖表，上麵有一些數據點和兩條線PC1和PC2，這個PC1和PC2是我們上次講課講過的PCA主成分分析Principal Component Analysis，上次課講了要找PCA主軸，是不是要找投影散的最開的那條？就是PC1了.
【導言-3】
這裏簡單畫一下示例，我們用紫色的線代表藍色數據的投影，黃色的線代表紅色的投影，PC1就是我們找的PCA了。我們這裏發現了一個問題：我們沒辦法用這個PC1來分開藍色和紅色的數據。但是我們看一下這個PCA認為不重要的軸PC２，讓數據投影到PC２上看看。
【導言-4】
這裏是把數據投影到PC２上，我們可以看到藍色的數據，用紫色投影表示在左上方，紅色數據用黃色投影表示在右下方，這樣是不是好像能把這藍色和紅色的數據分開來了？所以對於PCA認為不重要的這個PC２我們好像找到了用處，即用來判別數據。
【導言-5，LDA是有監督】
我們上次課講了PCA是無監督學習，我們稍微掃一眼什麽是有、無監督學習，可以看到就是是否擁有標記。我們看這個小圖，數據給了兩種不同的顏色，這就是一種標記，我們剛剛用PC２區分開兩種數據的時候就使用了這個顏色標記，所以我們剛剛的方法就是有監督學習。而我們剛剛的方法就是LDA的雛形。下麵我們來看看LDA到底是什麽。
【LDA概念-1】
線性判別分析(linear discriminant analysis)是誰誰不啦不啦一長串，沒興趣看，所謂概念隻有學習過後，真的懂了，才能看到之後明白意思，會心一笑，能直接看概念懂的都是理解能力強的人。我們直接上個例子講：
【LDA概念-2】
好，我們看這個圖，就是LDA的二維數據示意圖，這裏為了簡單給出的是兩種數據，我們把加號叫正例，減號叫反例，橢圓表示數據簇的外輪廓，虛線表示投影，紅色實心圓和實心三角形表示這兩類樣本投影後的中心點。那麽有同學就要問了，焦藏藏，你給了這個圖我除了看到兩種數據投影在一條線上是分開的，其他的啥也不知道，你到底會不會講啊？那我說你還不夠聰明，聰明的人看到這裏已經能自己寫一篇論文提出線性判別分析了，可惜費舍爾已經在１９３６年提出了判別分析然後馬上各種LDA就出來了。不過我說我也不夠聰明，所以也要接著看LDA到底是什麽。
【LDA概念-３，LDA思想】
（念PPT）
好，我把它念了一遍，大家已經懂了，它就是想把同類投影的盡可能近，異類盡可能遠，然後新的進來之後也投影看它離誰近那它就是誰了，所以我們就做到了分辨種類這個功能，把分辨種類換個好一點的詞，就是判別，所以就是機器學習的判別分析，因為是用的線性的，就叫線性判別分析，LDA怎麽來得？就是這麽來的。好，了解了LDA概念思想之後我們來看LDA的推導。
【LDA推導-1】
（念PPT）
我們數據必須是有標簽的，否則那就不是有監督學習，也搞不了LDA，我們要的是那條直線，數學上其實就是要的那條直線的方向向量，求的方法就是用數學工具啦。
【LDA推導-２】
好，我們把要用到的基礎的量解釋一下含義。我們這裏用最簡單的二分類為例。數據集裏麵的ｘ是具體數據，是向量，ｙ是標簽，是標量，也就是分類，０類和１類這兩類。這裏我用的向量都是列向量，因為我們用到的線代知識比較多，如果要行向量直接轉置一下就行了。
下麵這個ｙ等於歐米伽轉置乘以ｘ，這個ｙ不是上麵的標簽ｙ，這個是計算投影，也是標量。後麵就直接用歐米伽轉置乘以ｘ表示。左邊的這三個分別表第ｉ類示例的集合、均值向量、協方差矩陣.
最後這個歐米噶向量，就是我們需要的判別直線的方向向量。我們給它一個約束，設歐米噶為單位向量，有歐米伽的轉置乘它本身等於１.
【LDA推導-3，舉個例子】
我舉個簡單的例子來理解一下這些量，假設我們已經求得了判別直線的單位方向向量，那麽兩類的中心的投影也知道，算出ｘｋ的投影約等於２.６８更靠近第０類，所以判別它屬於０類。
【LDA推導-４】
（念PPT）
範數其實就是具有“長度”概念的函數。比如這裏μ０和μ１是給出的可以求出的，歐米噶是變量。
這裏就有同學要問了，我高數線代概率論好像沒怎麽用過範數這個東西啊？那我該怎麽推導呢？那我悄悄告訴你個簡單的東西，在這裏我也沒用範數，也推導了這一段。
【LDA推導-5】
從這一步到這一步，不明白的不就是範數這一坨嗎？它本質還是要一個類之間的非負數值來表示類之間的散度，我們這裏直接用投影減投影的平方就行了，當然如果你用範數那一套其實也是這個結果，不過範數在此是用於泛化。我們就單純的這個二分類問題我這樣推是沒問題的。我來寫一下，很快。
（白板寫推導）
【LDA推導-６】
我們現在得到了這麽一個商式，然後我們希望這個商式越大越好，這樣我們找出的歐米噶對應的判別直線就越精確，我們的線性判別功能就越強。不過在此之前，我們還是覺得這個式子很不好看，我們決定把他整漂亮整簡單一點，於是我們定義了這兩個矩陣。
（念ｐｐｔ）
ｗ和ｂ分別是ｗｉｔｈｉｎ和ｂｅｔｗｅｅｎ的首字母。也很好理解，類的內部就用協方差來衡量，越小越好，類之間就是中心之間距離的某種度量了，用這個部分來代表，所以這個式子就簡化為：
【LDA推導-７】
（念ｐｐｔ）
這一步推導還是有難度的，我不是這樣推的，我就用我們學過的數學知識做也能做。
【LDA推導-８】
好了，一看到這種昏暗的照片就是輪到我推導的時間了。
（白板寫推導）
到這裏我說有另一種解法，其實數學裏麵這裏可以講很多，不過這裏不是數學課，我們來簡單看一下另一種我覺得還蠻正統的解法：
【LDA推導-９】
（念ｐｐｔ）
【LDA推導-１０】
二分類已經講的很清楚了推廣至多分類我們就簡單點講，一會兒主要講MMC。
（念PPT）
其中ST掃一眼，我們後麵MMC還會有
【LDA推導-１1】
（念PPT＋解釋，結合前麵的二分類）
【12】
【13】
【LDA小結－１】
在過去的幾十年中，已經提出了多種降維算法，其中最著名的兩種算法是主成分分析PCA和線性鑒別分析LDA
PCA是一種無監督算法，也就是說，ＰＣＡ並沒有利用樣本的類別信息，因此，並不適用於以分類為目的的識別問題．與ＰＣＡ不同，ＬＤＡ是一種有監督算法，在構建ＬＤＡ的目標函數時，考慮了樣本的類別信息，因此，ＬＤＡ更適合於分類問題．
ＬＤＡ期望找到一個最優的投影矩陣，使得訓練樣本經過此投影矩陣投影後，不同類訓練樣本之間的距離盡可能的大，而同類訓練樣本之間的距離盡可能的小．
近年來，ＬＤＡ算法由於其簡單性和有效性，已在人臉識別、文本分類等問題中得到了廣泛應用
ＬＤＡ的一個主要缺陷是在求解最優投影矩陣的過程中需要保證類內散布矩陣是非奇異的．而對於模式識別中經常遇到的高維數據，其訓練樣本的數量相對較少，因此也就沒法保證類內散布矩陣是非奇異的，這也就是所謂的小樣本問題
說到這裏不知道同學們還有沒有印象我最開始就給大家放了一張課程資料裏的PPT，講的是什麽？就是MMC是解決小樣本問題的常用方法之一
【LDA小結－２】
為了克服LDA麵臨的小樣本問題，研究人員已經提出了多種解決方法，如ＰＣＡ＋
ＬＤＡ算法、零空間ＬＤＡ算法（ＮＬＤＡ）、正交ＬＤＡ、完備的ＬＤＡ（ＣＬＤＡ）及最大間距準則ＭＭＣ等．在這些算法中，ＭＭＣ是其中最著名的一種．
ＭＭＣ的核心就是以類間散布矩陣的跡與類內散布矩陣的跡之差作為鑒別準則，因此，ＭＭC就不需要求解類內散布矩陣的逆矩陣，這樣，ＭＭＣ就從理論上避免了ＬＤＡ中存在的因類內散布矩陣奇異而無法求解的問題。
【MMC優越性】
這是MMC提出者李海峰的論文裏麵的一部分，他在２００３年的論文裏提出MMC，然後這篇２００６年的又是主要寫MMC的發表在IEEE上麵。MMC資料不像那麵講的同學們那麽多，所以我們組隻能翻論文了。這裏就不找同學們翻譯了，我簡單說一說。
第一句就是MMC更厲害可以避免小樣本問題。從幾何學上說，MMC 最大限度地提高了類之間的(平均)間距。可以證明，MMC 比 PCA 更能代表類劃分分離，就是判別。它又說加入約束條件可以從 MMC 中推出LDA，跟線性判別扯關係。然後通過使用其他一些約束條件，我們建立了新的線性和非線性特征提取器，這些特征提取器不會受到小樣本量問題的影響，而小樣本問題對 LDA 來說是嚴重影響穩定性的。與 LDA+PCA 不同的是，基於 MMC 的新特
征提取器在輸入空間中最大化了類間散度，而不是SW的無效空間，最後就是實驗證實它比LDA+PCA厲害。
【MMC概念－１到7】
（自由發揮）
【MMC概念-8，小結】
由於tr(Sb)衡量的是類均值向量的總體方差，大的tr(Sb)意味著類均值向量在
一個大的空間內散布。另一方麵，小的tr(Sw)意味著每個類都有一個小的散布。
因此，大的J 表明，如果模式來自同一類別，則彼此接近，但如果來自不同類
別，則彼此相距甚遠。因此，這個標準可能比 PCA 更能代表類的可分離性。回顧
一下，PCA 試圖在線性變換後使總散點tr(St)最大化。但是，具有大的類內散射
的數據集也可能具有大的總散射，即使它具有小的類間散射，因為St=Sb+Sw
很明顯，這樣的數據是不容易分類的。對於 LDA 和 MMC 來說，很明顯，兩者的目
標非常相似。
【】自由發揮