在科技日新月異的當下，人工智慧（AI）正逐步滲透到程式設計領域，成為開發者們的新助手。谷歌CEO桑達爾·皮查伊曾透露，該公司已有25%的新代碼由AI生成，而meta的CEO馬克·紮克伯格也表達了在公司內部廣泛應用AI程式設計模型的意願。這一趨勢無疑展示了AI在程式設計任務中的巨大潛力。

然而，儘管AI模型在程式設計輔助方面取得了顯著進展，但在解決軟體漏洞這一關鍵問題上，它們的表現卻令人失望。微軟研究院的一項新研究揭示了這一現狀。研究中，多款頂尖的AI模型，如Anthropic的Claude 3.7 Sonnet和OpenAI的o3-mini，在名為SWE-bench Lite的軟體開發基準測試中，面對軟體調試任務時，成功率普遍不高。

為了更深入地瞭解AI模型的調試能力，研究者們設計了一個智慧體，它基於單個提示詞工作，能夠使用包括Python調試器在內的多種工具。這個智慧體被分配了300項經過篩選的軟體調試任務，結果卻顯示，即使是最先進的模型，也僅在半數左右的任務中取得了成功。Claude 3.7 Sonnet的表現相對較好，平均成功率為48.4%，而OpenAI的o1和o3-mini則分別只有30.2%和22.1%的成功率。

那麼，為何這些AI模型在調試任務上表現不佳呢？研究者們指出，部分模型在使用調試工具以及理解工具如何説明解決問題方面存在困難。但更深層次的原因在於數據的稀缺性。當前的AI模型訓練數據中，缺乏足夠的“順序決策過程”數據，即人類調試痕跡的數據。這意味著，AI模型在模仿人類調試行為方面存在天然缺陷。

研究者們強調，通過訓練或微調模型，有可能提高它們在互動式調試方面的能力。然而，這需要專門的數據來滿足模型訓練的需求。例如，記錄智慧體與調試器交互以收集必要資訊、隨後提出漏洞修復建議的軌跡數據。這樣的數據對於提升AI模型的調試能力至關重要。

實際上，AI在程式設計領域的應用並非一帆風順。許多研究表明，代碼生成型AI往往會引入安全漏洞和錯誤，這是它們在理解程式設計邏輯等方面的薄弱環節所導致的。例如，對一款流行的AI程式設計工具Devin的評估顯示，它僅在20項程式設計測試中完成了3項。

儘管如此，微軟的這項研究仍然是對AI在程式設計領域表現的一次重要剖析。它提醒我們，儘管AI輔助程式設計工具具有巨大的潛力，但開發者及其上級領導在將程式設計工作交給AI主導時仍需三思而後行。畢竟，程式設計作為一種職業，其複雜性和創造性仍然難以被完全替代。

值得注意的是，越來越多的科技界領袖開始對AI取代程式設計工作的觀點表示質疑。微軟聯合創始人比爾·蓋茨認為，程式設計作為一種職業將會長期存在。這一觀點得到了Replit CEO阿姆賈德·馬薩德、Okta CEO托德·麥金農以及IBM CEO阿爾溫德·克里希納等人的支援。他們一致認為，儘管AI在程式設計領域取得了顯著進展，但人類開發者的創造力和問題解決能力仍然是不可或缺的。

隨著AI技術的不斷發展，我們期待它在程式設計領域能夠發揮更大的作用。但與此同時，我們也應認識到AI的局限性，並充分利用人類開發者的優勢，共同推動程式設計技術的進步。