新聞 
細思極恐，人工智能＋黑客＝？
細思極恐，人工智能＋黑客＝？細思極恐，人工智能＋黑客＝？
人工智能技術的發展對網絡安全構成了挑戰，因為與防御者相比，黑客更容易操縱機器學習算法，從而獲得自己想要的結果。
隨著政府機構開始把安全重點轉向具備自學能力的自動化系統，網絡安全人士也開始紛紛擔心黑客對這些系統產生的影響，這甚至成為了他們最大的擔憂。
媒體近日撰文稱，人工智能技術的發展對網絡安全構成了挑戰，因為與防御者相比，黑客更容易操縱機器學習算法，從而獲得自己想要的結果。
根據維基百科的解釋，對抗性機器學習（Adversarial machine learning，以下簡稱“AML”）是一個“機器學習與計算機安全的交叉學科……其目的是在垃圾信息過濾、惡意軟件監測和生物特征識別等對抗性設置中安全部署機器學習技術。”
據賓夕法尼亞州立大學谷歌(微博)安全項目博士尼古拉斯?帕珀諾特（Nicolas Papernot）介紹，AML希望在對抗性環境中應用機器學習算法後，能夠更好地理解這些算法----所謂對抗性設置，指的是“任何一個讓攻擊者因為財務動機或其他動機而迫使機器學習算法采取不端行為的設置。”
“可惜的是，現在的機器學習模型有著很大的攻擊面，因為它們的設計和訓練過程都是為了獲得良好的平均表現，但未必考慮過最差表現。從安全角度來看，這往往是最容易受到攻擊的。”帕珀諾特說。正因如此，這些系統很容易遭受通用攻擊----無論使用何種機器學習模型，也無論需要解決哪些任務，這類攻擊都會經常發起。
范德堡大學電氣工程和計算機科學教授葉夫提尼?沃羅貝琴科（Yevgeniy Vorobeychik）指出，雖然包括美國國防部及其下屬的DARPA在內的政府機構“達到了我們學術界所達不到的復雜度”，但AML只是這一領域的一個開始。例如，很多國家和地區政府以及執法機構都在“認真考慮”用這種技術來預測犯罪活動。
馬裡蘭大學助理教授都鐸?杜米特拉斯（Tudor A. Dumitras）表示，在公共領域，機器學習可以有很多用途，包括“網絡攻擊防御技術；分析天文觀測或能源部大型實驗等項目的科研數據；生物學和醫學研究；開發犯罪預測模型，用於制定假釋或量刑決策。”這些系統都很容易遭受AML攻擊。
為了說明這個問題，杜米特拉斯指出，網絡防御系統必須把各種活動或信息（包括可執行程序、網絡流量或電子郵件）區分為善意和惡意兩種模式。
為了達到這個目的，機器學習算法需要首先學習一些已知的善意和惡意例子，以此作為起點，進一步在沒有預定描述信息的情況下學習惡意活動的模式。
“聰明的攻擊者可以顛覆這些技術，使之產生壞的結果。”他說。廣泛來看，杜米特拉斯認為攻擊者可以采取以下三種方式：
----通過操縱例子攻擊訓練模型，導致機器學習算法給某些案例添加錯誤的標簽，或者學會被曲解的模型。
----通過尋找代碼漏洞攻擊實施過程。
----利用機器學習算法的“黑盒子”特性。
“因此，用戶可能會發現，這種模型也有盲點。他們也有可能發現，這種模型的基礎是人為操縱的數據，而非有意義的特征。”杜米特拉斯說，“因為機器學習往往會給出惡意或善意判斷，但卻不會透露這種結論背後的邏輯。”
AML興起
AML在公共和執法領域的重要性逐漸提升，原因在於計算機科學家“在機器學習領域已經足夠成熟，可以在很多有挑戰的任務中讓機器學習模型實現優異表現，有時候能超過入類。”帕珀諾特說，“因此，機器學習在很多應用領域普及開來，而且逐步成為網絡安全領域的新穎候選方案。”
您的點贊是對我們的鼓勵
好新聞沒人評論怎麼行，我來說幾句
隨著政府機構開始把安全重點轉向具備自學能力的自動化系統，網絡安全人士也開始紛紛擔心黑客對這些系統產生的影響，這甚至成為了他們最大的擔憂。
媒體近日撰文稱，人工智能技術的發展對網絡安全構成了挑戰，因為與防御者相比，黑客更容易操縱機器學習算法，從而獲得自己想要的結果。
根據維基百科的解釋，對抗性機器學習（Adversarial machine learning，以下簡稱“AML”）是一個“機器學習與計算機安全的交叉學科……其目的是在垃圾信息過濾、惡意軟件監測和生物特征識別等對抗性設置中安全部署機器學習技術。”
據賓夕法尼亞州立大學谷歌(微博)安全項目博士尼古拉斯?帕珀諾特（Nicolas Papernot）介紹，AML希望在對抗性環境中應用機器學習算法後，能夠更好地理解這些算法----所謂對抗性設置，指的是“任何一個讓攻擊者因為財務動機或其他動機而迫使機器學習算法采取不端行為的設置。”
“可惜的是，現在的機器學習模型有著很大的攻擊面，因為它們的設計和訓練過程都是為了獲得良好的平均表現，但未必考慮過最差表現。從安全角度來看，這往往是最容易受到攻擊的。”帕珀諾特說。正因如此，這些系統很容易遭受通用攻擊----無論使用何種機器學習模型，也無論需要解決哪些任務，這類攻擊都會經常發起。
范德堡大學電氣工程和計算機科學教授葉夫提尼?沃羅貝琴科（Yevgeniy Vorobeychik）指出，雖然包括美國國防部及其下屬的DARPA在內的政府機構“達到了我們學術界所達不到的復雜度”，但AML只是這一領域的一個開始。例如，很多國家和地區政府以及執法機構都在“認真考慮”用這種技術來預測犯罪活動。
馬裡蘭大學助理教授都鐸?杜米特拉斯（Tudor A. Dumitras）表示，在公共領域，機器學習可以有很多用途，包括“網絡攻擊防御技術；分析天文觀測或能源部大型實驗等項目的科研數據；生物學和醫學研究；開發犯罪預測模型，用於制定假釋或量刑決策。”這些系統都很容易遭受AML攻擊。
為了說明這個問題，杜米特拉斯指出，網絡防御系統必須把各種活動或信息（包括可執行程序、網絡流量或電子郵件）區分為善意和惡意兩種模式。
為了達到這個目的，機器學習算法需要首先學習一些已知的善意和惡意例子，以此作為起點，進一步在沒有預定描述信息的情況下學習惡意活動的模式。
“聰明的攻擊者可以顛覆這些技術，使之產生壞的結果。”他說。廣泛來看，杜米特拉斯認為攻擊者可以采取以下三種方式：
----通過操縱例子攻擊訓練模型，導致機器學習算法給某些案例添加錯誤的標簽，或者學會被曲解的模型。
----通過尋找代碼漏洞攻擊實施過程。
----利用機器學習算法的“黑盒子”特性。
“因此，用戶可能會發現，這種模型也有盲點。他們也有可能發現，這種模型的基礎是人為操縱的數據，而非有意義的特征。”杜米特拉斯說，“因為機器學習往往會給出惡意或善意判斷，但卻不會透露這種結論背後的邏輯。”
AML興起
AML在公共和執法領域的重要性逐漸提升，原因在於計算機科學家“在機器學習領域已經足夠成熟，可以在很多有挑戰的任務中讓機器學習模型實現優異表現，有時候能超過入類。”帕珀諾特說，“因此，機器學習在很多應用領域普及開來，而且逐步成為網絡安全領域的新穎候選方案。”
您的點贊是對我們的鼓勵
好新聞沒人評論怎麼行，我來說幾句| 分享: |
| 注： | 在此頁閱讀全文 |
