亞馬遜機器學習服務：深入研究AWS SageMaker


36氪

15k 人追蹤
追蹤
2020年1月26日 上午10:42
留言
編者按：本文來自微信公眾號「AI科技大本營」（ID：rgznai100），作者 Manish Manalath，36氪經授權發佈。
檢視相片

深入研究AWS SageMaker
更多
機器學習是一個從數據中發現模式的強大概念。但是，如果您嘗試過從零開始構建機器模型，那麼您一定知道設計一個可擴展的機器學習工作流是多大的挑戰。
使用傳統方法構建機器學習模型，標記、訓練和微調參數非常耗時。除此之外，訓練模型是一個繁瑣的過程，需要相當大的計算能力。正因如此，用複雜的模型構建可擴展的工作流，比如強化學習模型，是數據科學家面臨的一大挑戰。
Amazon試圖用AWS SageMaker來解決這些挑戰。
Sagemaker是Amazon推出的一項全受管服務，它提供了一組豐富的工具，幫助您輕鬆地構建、訓練、測試和部署模型。Sagemaker可以讓您設計一個完整的機器學習工作流，以最小的工作量將智能集成到您的應用程序中。
Sagemaker是一項全受管服務。這意味著沒有設置，沒有安裝，也不需要手動擴展。Sagemaker提供了一個完整的機器學習套件，其中包括IDE，您可以使用它與您的團隊進行實時協作。
檢視相片

深入研究AWS SageMaker
更多
讓我們來看看SageMaker 的各個組件，瞭解它們如何協同工作，以幫助團隊為客戶打造和交付更好的解決方案。
SageMakerGround Truth
準備正確的數據集是構建機器學習模型的第一個挑戰。這些數據集通常是從不同的來源獲得的，可能有著不同的格式。由於算法不能處理原始數據，因此在數據準備階段經常需要進行手動標記。除了訓練模型，預處理數據是工程師花費時間最多的地方。
Sagemaker Ground Truth使用預先訓練的機器學習模型自動標記原始數據，大大減少了創建標記數據集所需的時間和精力。隨著時間的推移，通過學習手動創建的標籤，GroundTruth也逐漸變得更好。
SageMaker Studio
Sagemaker Studio是一個功能豐富的機器學習集成開發環境(IDE)。您可以使用單一的集成接口編寫、調試和可視化您的模型。
Sagemaker Studio還提供分步跟蹤的功能，您可以使用暫停，重放和克隆步驟。這樣，在機器學習工作流中來回移動來分析和迭代單個步驟會很容易。
Sagemaker Studio包含以下同步工作的工具，可以幫助您毫不費力地構建複雜的機器學習架構。
SageMaker AutoPilot


深入研究AWS SageMaker
更多
Autopilot是SageMaker中最有用的工具。在設計機器學習模型時，找到正確的算法是另一大挑戰。鑑於解決機器學習問題的算法種類繁多，找到最有效的算法往往需要數小時的訓練和測試。
Autopilot使用預先訓練的機器學習模型來解決這個問題，為您的數據找到正確的算法。通過提供目標列進行預測，Autopilot將探索不同的解決方案，找到最適合您數據集的模型。一旦Autopilot找到了正確的模型，你還可以選擇使用自定義的配置來擴展模型。
SageMaker Notebooks
如果您熟悉Jupyter Notebooks SageMaker Notebooks就是一個可以與他人共享的Jupyter Notebooks。您可以與您的團隊協作，使用SageMaker Notebooks實時構建機器學習模型。
Sagemaker Notebooks不受限於初始配置，這意味著您可以使用不同的硬件配置來測試您的機器學習模型。在創建一個新的SageMaker Notebook時，您還可以選擇不同的預製模板。
SageMaker Experiments
為了訓練模型，您必須在模型中運行數據進行多次迭代，直到獲得最好的準確性。這包括嘗試不同的算法，微調參數，調整特性等一系列操作。
Sagemaker Experiments可以將每個優化過程作為「實驗」存儲，並提供可視化界面供您瀏覽。Sagemaker Experiments 捕獲每次迭代的輸入參數、配置、結果等，供您瀏覽和審查它們的性能。
SageMaker Debugger
機器學習模型的準確性只有在訓練完成後才能確定。但是訓練模型是一個耗時的過程，需要幾分鐘到幾小時不等。如果你不得不改變參數，那麼就必須重新訓練模型來計算其準確性。
Sagemaker Debugger在訓練過程中捕獲實時指標。捕獲的驗證、混淆矩陣和學習梯度等信息，可以幫助您分析整個訓練過程，進行優化，以獲得更高的準確性，而不用重新訓練整個模型。Debugger還會對常見問題發出警告，並提供最佳操作建議。
SageMaker Model Monitor
一旦機器學習模型投入生產，就很難自動監控模型的性能。當模型從用戶交互中接收到新的數據時，可能會出現數據偏移，這將改變基值，如均值、方差、平均值等。沒有適當的統計分析，很難用傳統的方法推斷出這些問題。
Sagemaker Model Monitor監視生產中的機器學習模型，並在模型不能按預期那樣運行時提醒您。通過配置，Sagemaker Model Monitor可以生成包含常規統計信息和性能指標的報告，並且可以定期存儲在S3 bucket中。
SageMaker Neo
像自動駕駛汽車這樣的複雜機器學習解決方案是使用一組單獨的模型構建的。這些模型必須做出快速、低延遲、高準確的實時預測。這樣的模型需要花數年時間來訓練、測試和部署。一旦部署後，除非有一個堅實的強化學習架構，否則很難更新edgelocations模型。
這時候SageMaker Neo就可以派上用場了。Neo對模型進行了優化，使其運行速度提高了兩倍，而佔用的內存不到十分之一，而且在準確性上沒有任何損失。
Neo還可以將機器學習模型編譯成一個可執行文件，部署到雲端或者 Lambda edge上。Neo還支持使用AWSGreengrass對edgelocations（分發節點，是指亞馬遜在全球建立的，對源服務器發佈的內容進行緩存的節點。終端用戶訪問時，從最近的節點提供數據）的無線更新。
SageMaker Augmented AI
高度精確的機器學習模型，經過一定程度的人工干預，能更好地保證數據的質量和準確性。Amazon Augmented AI (A2I)使得構建人工審查預測結果的工作流變得容易。
這在處理諸如掃瞄文檔和自然語言文本等低質量數據格式時特別有用。A2I可用於對低可信度預測結果進行人工審查，或持續地對預測進行審核。
AWS Marketplace
AWS Marketplace是一個數字目錄，上面提供了數千項由獨立軟件供應商開發的預配置軟件服務。AWSMarketplace提供了從操作系統到數據分析的一系列解決方案。
檢視相片

深入研究AWS SageMaker
更多
Aws Marketplace還提供了多種使用 AWS 平台構建、訓練和測試的機器學習解決方案。您可以選擇Marketplace上可用的現有模型，並將其直接部署到生產環境中。Marketplace解決方案也是可擴展的，在將這些模型部署給客戶之前，開發人員能夠添加額外的配置層。
總結
如果你是一名機器學習工程師，當你從頭開始構建完整的機器學習工作流程時，Sagemaker會幫你大大縮減開銷和設置的數量。 Sagemaker 還提供託管現場培訓，使用多餘的 AWS 現場實例運行您的培訓作業。在訓練大規模數據集時，這可以幫您節省計算能力方面的成本。
Sagemaker 還能很好地與Tensorflow和 Keras等語言兼容，能夠提供一個GPU集群來並行運行計算。毫無疑問，SageMaker 是機器學習工程師工具箱裡的一個強大工具。
原文鏈接：https://hackernoon.com/amazon-machine-learning-a-deep-dive-into-aws-sagemaker-9mx3zs8

本文經授權發布，不代表36氪立場。
如若轉載請註明出處。來源出處：36氪