機器學習的概念有幾十年，已經在金融風險控制、患者癥狀識別及治療建議、識別恐怖分子等領域得到應用，目前最新進展即是用于大數據分析，隨著數據存儲成本下降、分布式處理、更強大的計算機和出現的分析機會，人們對于機器學習系統(tǒng)的興趣愈加強烈。本文主要介紹了機器學習新技術如何助力大數據的創(chuàng)新應用。
隨著企業(yè)收集大數據，他們開始采用數據科學從中提取知識和重要含義。數據科學是在許多學科技術和理論基礎上建立形成的，包括統(tǒng)計、數據挖掘、機器學習、人工智能等。 數據科學跨學科性質意味著團隊成員需要掌握各種學科的專業(yè)知識。
在數據科學領域中，機器學習是人工智能的一個分支，重點實現計算機工作不用明確編程。這個概念是利用交互式數據學習算法自動構建分析模型。通過選擇更好的模型不斷改進結果，減少人工干預。然后，利用這些模型做出可靠、可重復的決定。
SAS數據科學部經理Thompson指出：“機器學習以構建和研究系統(tǒng)為重點，通過數據學習優(yōu)化性能函數，如優(yōu)化預期回報或減少損失函數。目的是更快地獲得數據資源的深入洞察，更加精確地提取數據中的知識，提高利潤并降低風險。”
統(tǒng)計和機器學習在很大程度上存在重疊。這兩個學科均著重于研究數據概括(或預測)。“統(tǒng)計和機器學習之間的最大區(qū)別是，”Thompson說，“統(tǒng)計更側重于推理分析或假設檢驗，從而對規(guī)模遠大于樣本的數據全體進行預測。統(tǒng)計還研究參數估計、錯誤率、分布假設等，了解具有隨機成分的經驗數據。
Thompson補充道：“機器學習使用海量觀測數據，作為人工智能的一個分支，專注于自動化。[它側重于]算法，如隨機森林或梯度上升，自動處理缺失值、發(fā)現相互作用關系等。”
機器學習的核心概念是算法通過每次迭代，從數據中學習。Thompson說，“要衡量是否改進性能，可以看目標函數，如減少損失函數。算法通過數據迭代，直至符合收斂準則。通常可以用保留數據驗證是否過度擬合。”
機器學習的算法類型
機器學習算法有四種不同類型，可根據所需算法的結果或訓練機器輸入的變量類型進行分類。Thompson指出，“機器學習中使用的術語不同于統(tǒng)計。例如，機器學習中目標稱為標簽，而在統(tǒng)計中，稱為因變量。”四種機器學習類型包 監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習及增強學習。
1.監(jiān)督學習
“大多數機器學習是監(jiān)督學習–約占70%，” Thompson說。監(jiān)督學習算法采用已知預期結果的標記樣本進行“訓練”。監(jiān)督學習通常用于利用歷史數據預測未來可能出現事件的應用。
例如，它可以預測哪些信用卡交易很可能欺詐，哪個保險客戶可能提出索賠。發(fā)生欺詐的情況下，您已經知道客戶欺詐，不屬于訓練數據。學習算法接收一組輸入以及相應的正確輸出，算法學習過程中比較正確輸出與實際輸出，因此可以找出錯誤并相應修改模型。輸入在機器學習稱為特征。發(fā)生欺詐的情況下，樣本特征可以是帳戶余額、每日交易金額等。通過分類、回歸、預測和梯度上升等方法，監(jiān)督學習利用輸入預測標簽值。這種模型適用于稱為評分的新場景，無論交易是否欺詐。
2.無監(jiān)督學習
約10%至20%的機器學習是無監(jiān)督學習，雖然這方面正在迅速增長。無監(jiān)督學習是一種系統(tǒng)采用未標記樣本運算的機器學習。這種情況下，系統(tǒng)不告訴“正確答案”。算法找出未標記數據中的隱藏結構或流形結構。與監(jiān)督學習和強化學習相比，學習器的給定樣本沒有明確目標輸出，或每個輸入相關的回報信號。
Thompson指出：“無監(jiān)督學習的目標是探索數據，采用聚類或降維等方法發(fā)現其中的內在結構。[無監(jiān)督學習] 特別適合用于交易型數據。”
內在結構和無監(jiān)督學習相關方法依數據性質而不同。例如，歐幾里得空間中的數據可按概率、密度進行結構建模，并可采用k均值聚類、高斯混合模型和主成分分析 (PCA) 等方法降維;而一般拓撲空間中的數據只是局部歐幾里德，其結構最好按非線性流形建模，可通過 ISOMAP、局部線性嵌入 (LLE)、拉普拉斯特征映射、核PCA和其他方法實現降維。此外，矩陣分解、主題模型和圖形是文本、圖像和社交媒體數據無監(jiān)督學習流行的結構模型。
3.半監(jiān)督學習
半監(jiān)督學習用于監(jiān)督學習相同的應用。但這種技術使用標記和未標記數據進行訓練–通常標記數據數量小，未標記數據數量大。
這種學習與分類、回歸和預測等方法結合使用。當標記數據成本過高，無法全部采用標記數據進行訓練，而獲取未標記數據相對廉價的情況下，適合采用半監(jiān)督學習。
半監(jiān)督學習至少有兩種不同方式的解釋。第一種解釋，使用未標記數據通知計算機算法監(jiān)督學習相關的結構化數據信息，這被認為是主要目的。這種觀點認為，當標簽不足時，無標記數據提供輔助信息有助于強化監(jiān)督學習。第二種解釋，主要目的是將無監(jiān)督學習(例如聚類)，以及標簽視為輔助信息 (聚類情況下的聚類指標)，幫助算法找到正確的內在數據結構。這種情況下，當內在數據結構不是很清楚，對常規(guī)無監(jiān)督學習方法構成挑戰(zhàn)時，標簽特別有用。
這方面早期例子包括圖像分析 –如攝像頭人臉識別–文本分析和
疾病檢測。
4.增強學習
采用增強學習，算法通過試驗和錯誤發(fā)現產生最大回報的動作。增強學習三個主要組成部分：代理(學習者或決策者)、環(huán)境（代理交互的所有系統(tǒng)）、動作（代理可以做的動作）。
Thompson指出：“目的是支持代理選擇給定時間周期內實現最大預期回報的動作。代理遵守良好策略可以更快地實現目標，因此增強學習的目的是學習最佳策略。”增強學習通用于機器人和導航。
增強學習與最優(yōu)控制、統(tǒng)計及運籌學具有緊密聯系。馬爾可夫決策過程 (MDP) 是增強學習常用模型。MDP假設代理觀測的是理想環(huán)境狀態(tài)。如果不是這樣，可以使用一種叫做部分觀測馬爾可夫決策過程 (或POMDP) 更普通的模型，查找解決狀態(tài)不確定性、同時最大化長期回報的策略。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產業(yè)前沿產品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產業(yè)數字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經驗，提供媒體、活動、展會等整合營銷服務。
粵公網安備 44030402000264號
