大型模型優化之路：Anthropic CEO認為擴展定律尚未觸頂

擴展定律持續有效

儘管對於數據限制存在擔憂，Anthropic 的 CEO Dario Amodei 認為，人工智慧模型的擴展定律尚未達到極限。他認為，合成數據和推理模型可以幫助克服數據的限制。這意味著，透過不斷增加模型的大小、訓練時間和數據量，我們仍然可以期待看到模型能力的持續提升。

Amodei 的觀點挑戰了目前一些關於擴展定律可能已經達到瓶頸的看法。他認為，透過更聰明地利用現有資源，例如使用合成數據來擴充訓練集，以及開發更有效的推理模型，我們可以繼續推動 AI 技術的發展。

模型能力的顯著提升

AI 模型的能力在過去一段時間內取得了顯著的進步。例如，在 SWE-bench 等基準測試中，模型的表現從 3-4% 提升到了 50%，而這僅僅發生在十個月內。這顯示了 AI 模型在解決複雜問題方面的巨大潛力。

Amodei 預期，未來還會有進一步的改進。這意味著，我們可能會看到 AI 模型在各個領域的應用越來越廣泛，並且能夠處理更複雜的任務。

後訓練的重要性

未來，後訓練的成本可能會超過預訓練。這意味著，在模型完成初步訓練後，如何進一步提升其性能和安全性將變得越來越重要。

傳統上，我們依賴人類來改進模型品質，但這種方法是不可擴展的。因此，我們需要開發更具擴展性的監督方法，例如使用憲法式 AI 來引導模型的訓練。

模型差異與特性

模型的特性和差異並非總是能被基準測試所捕捉。除了性能之外，禮貌、直接性、反應性和積極性等因素也扮演著重要的角色。這意味著，我們需要更全面地評估模型的表現，而不僅僅是關注其在基準測試中的得分。

例如，一個模型可能在基準測試中表現出色，但在實際應用中卻顯得不夠禮貌或不夠積極。因此，我們需要開發更全面的評估方法，以確保模型能夠滿足人類的需求。

RLHF 的作用

來自人類回饋的強化學習 (RLHF) 有助於彌合人類和模型之間的溝通鴻溝，而不是讓模型本身變得更聰明。RLHF 可以幫助模型更好地理解人類的意圖，並產生更符合人類期望的回應。

Amodei 強調，RLHF 的主要作用是改善模型的溝通能力，而不是提升其內在的智慧。這意味著，我們需要更關注如何讓模型更好地與人類互動，而不是僅僅追求更高的性能。

使用者對模型「變笨」的感知

使用者感覺模型「變笨」並不一定錯誤。這可能源於模型的複雜性以及影響其表現的眾多因素。模型在不同情境下的表現可能會有所不同，這使得使用者難以理解模型的行為。

此外，模型在訓練過程中可能會出現一些意想不到的行為，這也可能導致使用者產生模型「變笨」的感覺。因此，我們需要更深入地了解模型的內部機制，以便更好地控制其行為。

模型設計的目的

模型設計的目的是為了執行和完成任務，而不是為了讓人們容易理解。這意味著，我們不應該期望模型能夠像人類一樣思考和理解世界。

模型的內部機制可能非常複雜，難以用簡單的語言來解釋。因此，我們需要開發新的工具和方法，以便更好地理解和控制模型的行為。

親身體驗的重要性

直接與模型互動對於理解它們至關重要，而不是僅僅閱讀研究論文。透過親身體驗，我們可以更深入地了解模型的優缺點，以及它們在不同情境下的表現。

Amodei 強調，理論知識固然重要，但親身體驗對於理解 AI 模型至關重要。這意味著，我們需要鼓勵更多的人參與到 AI 模型的開發和應用中來。

憲法式 AI

憲法式 AI 是一種改進模型的工具，它可以減少對 RLHF 的依賴，並提高每個 RLHF 數據點的利用率。這種方法使用一組原則來引導模型的訓練，允許模型自行訓練。

憲法式 AI 的目標是讓模型能夠更好地理解人類的價值觀和道德規範，並產生更符合人類期望的回應。這是一種很有前景的方法，可以幫助我們開發更安全、更可靠的 AI 模型。

Dario Amodei 的經驗

Amodei 在 AI 領域工作了約 10 年，最初從事語音辨識系統的研究。他觀察到，增加模型大小、數據和訓練時間可以提高性能。這促使他開始探索擴展定律在 AI 模型中的應用。

Amodei 的經驗表明，擴展定律是 AI 技術發展的重要驅動力。透過不斷增加模型的大小、訓練時間和數據量，我們可以期待看到 AI 模型能力的持續提升。

擴展定律的確認

從 2014 年到 2017 年的轉變是關鍵性的，它確認了擴展模型大小可以實現複雜的認知任務。這意味著，透過不斷增加模型的大小，我們可以讓 AI 模型具備更強大的認知能力。

這一發現對 AI 領域產生了深遠的影響，它促使研究人員開始探索更大、更複雜的模型。

擴展的組成部分

擴展涉及網路大小、訓練時間和數據的線性擴展。所有三個組成部分都必須按比例增加。這意味著，我們不能只增加模型的大小，而忽略了訓練時間和數據量。

為了實現最佳的擴展效果，我們需要確保所有三個組成部分都得到充分的考慮。

擴展超越語言

擴展定律適用於其他模態，如圖像、影片和數學。它也適用於後訓練和新的重新設計模型。這意味著，擴展定律不僅僅適用於語言模型，它也適用於其他類型的 AI 模型。

這表明，擴展定律是一種普遍的現象，它適用於各種不同的 AI 模型。

理解擴展定律

這個概念與物理學中的「1/f 雜訊」和「1/x 分佈」有關，其中自然過程具有不同的尺度，而較大的模型可以捕捉更複雜的模式。這意味著，較大的模型可以更好地理解世界的複雜性。

擴展定律的背後原理是，較大的模型可以學習到更多複雜的模式，從而具備更強大的能力。

擴展的限制

雖然確切的限制尚不清楚，但 Amodei 認為擴展可以達到人類水平的智慧。某些領域可能接近人類能力的極限，而其他領域則有更大的改進空間。這意味著，我們需要根據不同的領域來評估擴展的潛力。

例如，某些領域可能已經接近人類能力的極限，而其他領域則還有很大的發展空間。

數據限制

數據稀缺是一個潛在的限制，但合成數據和推理模型可以提供幫助。這意味著，我們需要開發新的方法來克服數據限制，例如使用合成數據來擴充訓練集。

合成數據可以幫助我們訓練出更強大的模型，而無需依賴大量的真實數據。

計算限制

目前的計算規模為數十億，預計明年將達到數百億，到 2027 年可能達到數千億。這意味著，我們需要不斷提高計算能力，才能訓練出更大、更複雜的模型。

計算能力的提升是 AI 技術發展的重要基礎。

Claude 3 系列

Anthropic 發布了 Claude 3 系列模型，具有不同的大小和功能：Opus（最強大）、Sonnet（中等）和 Haiku（快速且具有成本效益）。這三個模型旨在滿足不同的需求，從需要最高性能的應用到需要快速且具有成本效益的應用。

Claude 3 系列模型的發布表明，Anthropic 正在不斷努力開發更強大、更實用的 AI 模型。

模型命名

這些名稱的靈感來自詩歌，其中 Haiku 最短，而 Opus 最廣泛。這種命名方式體現了 Anthropic 對藝術和科學的結合的重視。

模型的命名不僅僅是一種標識方式，它也反映了 Anthropic 的企業文化和價值觀。

模型演進

每一代新模型都旨在改進性能和成本之間的平衡。這意味著，Anthropic 不僅僅追求更高的性能，也關注模型的成本效益。

模型的演進是一個持續的過程，Anthropic 將不斷努力開發更強大、更實用、更具成本效益的 AI 模型。

模型訓練過程

該過程包括預訓練（時間長且計算密集）、後訓練（RLHF 和其他 RL 方法）和安全測試。這是一個複雜的過程，需要大量的計算資源和專業知識。

模型訓練過程的每一個步驟都至關重要，它們共同決定了模型的最終性能和安全性。

RLHF 數據重用

來自舊模型的偏好數據可用於訓練新模型。這意味著，我們可以利用過去的經驗來加速新模型的訓練。

RLHF 數據重用是一種有效的策略，可以幫助我們更有效地利用現有資源。

憲法式 AI

這種方法使用一組原則來引導模型訓練，允許模型自行訓練。這是一種很有前景的方法，可以幫助我們開發更安全、更可靠的 AI 模型。

憲法式 AI 的目標是讓模型能夠更好地理解人類的價值觀和道德規範，並產生更符合人類期望的回應。

模型個性

模型具有獨特的特性，這些特性並非總是能被基準測試所捕捉，例如禮貌和反應性。這意味著，我們需要更全面地評估模型的表現，而不僅僅是關注其在基準測試中的得分。

模型的個性是其獨特性的重要組成部分，它會影響模型與人類的互動方式。

Sonnet 3.5 的編碼能力

該模型在編碼方面表現出顯著的改進，為工程師節省了以前需要數小時才能完成的任務時間。這表明，AI 模型在編碼方面具有巨大的潛力。

Sonnet 3.5 的編碼能力是 AI 技術在軟體開發領域應用的重要例證。

SWE-bench 性能

該模型在 SWE-bench 基準測試中的成功率在 10 個月內從 3% 提高到 50%。這顯示了 AI 模型在解決複雜編碼問題方面的巨大進步。

SWE-bench 性能的提升表明，AI 模型在編碼方面的能力正在迅速提高。

AI 對程式設計的影響

由於與 AI 開發的密切關係，程式設計預計將迅速變化。這意味著，程式設計師需要不斷學習新的技能，才能適應 AI 技術的發展。

AI 技術的發展將對程式設計領域產生深遠的影響。

AI 在程式設計中的作用

AI 可以編寫、執行和分析程式碼，從而創建一個用於快速進展的閉環系統。這意味著，AI 可以幫助程式設計師更快速、更高效地開發軟體。

AI 在程式設計中的作用將越來越重要，它將成為程式設計師的重要工具。

程式設計的未來

預計到 2026 年或 2027 年，AI 將處理大多數例行程式設計任務，讓人們專注於高階系統設計和架構。這意味著，程式設計師將需要將精力集中在更具創造性和挑戰性的任務上。

AI 技術的發展將改變程式設計師的工作方式，並讓他們能夠更專注於高階任務。

未來的 IDE

IDE 具有巨大的改進潛力，但 Anthropic 不打算開發自己的 IDE。他們更喜歡提供 API 給其他人來構建工具。這意味著，Anthropic 將專注於開發 AI 模型，而不是開發 IDE。

Anthropic 的策略是讓其他公司利用其 AI 模型來開發 IDE，從而促進整個生態系統的發展。

電腦使用和安全

電腦使用功能：此功能允許模型分析螢幕截圖並透過點擊或按下按鍵來執行操作。這意味著，AI 模型可以與電腦進行互動，並執行各種任務。

電腦使用功能是 AI 技術在實際應用中的重要例證。

泛化

使用螢幕截圖的能力是泛化的好例子，其中強大的預訓練模型可以輕鬆適應新任務。這意味著，AI 模型可以將其在一個領域學到的知識應用於其他領域。

泛化能力是 AI 模型的重要特性，它使其能夠適應各種不同的任務。

API 發布

由於安全問題，電腦使用最初是作為 API 發布的。這意味著，Anthropic 將謹慎地發布電腦使用功能，以確保其安全性和可靠性。

API 發布是一種常見的策略，可以讓開發人員在安全可靠的環境中使用 AI 模型。

安全措施

安全地使用這些強大的模型並防止濫用非常重要。這意味著，我們需要採取各種措施來確保 AI 模型不會被用於有害的目的。

安全措施是 AI 技術發展的重要組成部分，它們可以幫助我們確保 AI 技術的負責任使用。

負責任的擴展政策 (RSP)

此政策用於測試模型的潛在風險。這意味著，Anthropic 將對其 AI 模型進行嚴格的測試，以確保其安全性和可靠性。

RSP 是一種重要的工具，可以幫助我們識別和解決 AI 模型的潛在風險。

AI 安全級別 (ASL)

模型根據其功能和潛在風險分為不同的 ASL 級別。這意味著，我們需要根據模型的風險程度來採取不同的安全措施。

ASL 級別是一種重要的工具，可以幫助我們對 AI 模型進行分類和管理。

沙箱

沙箱用於訓練期間，以防止模型與現實世界互動。這意味著，我們需要確保 AI 模型在訓練過程中不會對現實世界造成任何損害。

沙箱是一種重要的安全措施，可以幫助我們保護現實世界免受 AI 模型的潛在風險。

機制可解釋性

這對於理解和控制模型至關重要，尤其是在較高的 ASL 級別。這意味著，我們需要開發新的工具和方法，以便更好地理解 AI 模型的內部機制。

機制可解釋性是 AI 技術發展的重要方向，它可以幫助我們更好地控制 AI 模型。

RLHF 的目的

RLHF 有助於模型更好地與人類溝通，而不是讓它們本身變得更聰明。這意味著，RLHF 的主要作用是改善模型的溝通能力，而不是提升其內在的智慧。

RLHF 是一種重要的工具，可以幫助我們開發更易於使用和理解的 AI 模型。

解除束縛

RLHF 可以「解除」模型的束縛，消除一些限制，但並非全部。這意味著，RLHF 可以幫助模型更好地發揮其潛力，但它並不能完全消除模型的限制。

解除束縛是 RLHF 的重要作用之一，它可以幫助模型更好地適應不同的任務。

後訓練成本

預計未來後訓練成本將超過預訓練成本。這意味著，我們需要更關注如何有效地進行後訓練，以提升模型的性能和安全性。

後訓練成本的增加表明，後訓練在 AI 模型開發中的重要性正在不斷提高。

可擴展的監督

僅靠人類來改進模型品質的方法是不可擴展的，因此需要更具可擴展性的監督方法。這意味著，我們需要開發新的方法來監督 AI 模型的訓練，而無需依賴大量的人力。

可擴展的監督是 AI 技術發展的重要方向，它可以幫助我們更有效地訓練 AI 模型。

模型「變笨」

使用者對模型「變笨」的感知可能是由於模型的複雜性及其對提示的敏感性所致。這意味著，我們需要更深入地了解模型的行為，以便更好地控制其表現。

模型「變笨」的感知是一種常見的現象，它提醒我們需要更關注模型的穩定性和可靠性。

模型個性

控制模型行為很困難，並且在不同特性之間存在權衡。這意味著，我們需要根據不同的應用場景來選擇合適的模型特性。

模型個性是其獨特性的重要組成部分，它會影響模型與人類的互動方式。

使用者回饋

使用者回饋對於理解模型行為至關重要，但很難收集和解釋。這意味著，我們需要開發新的方法來收集和分析使用者回饋，以便更好地了解模型的表現。

使用者回饋是 AI 模型開發的重要資源，它可以幫助我們改進模型的性能和安全性。

競爭與未來方向

Anthropic 的目標是為其他公司樹立榜樣，促進負責任的 AI 開發。這意味著，Anthropic 將致力於開發安全、可靠、負責任的 AI 模型。

Anthropic 的目標是成為 AI 領域的領導者，並引導整個行業走向負責任的發展。

機制可解釋性

這是 Anthropic 的一個關鍵研究領域，旨在了解模型如何在內部工作。這意味著，Anthropic 將投入大量資源來研究 AI 模型的內部機制。

機制可解釋性是 AI 技術發展的重要方向，它可以幫助我們更好地控制 AI 模型。

模型設計

模型設計的目的是為了執行和完成任務，而不是為了讓人們容易理解。這意味著，我們不應該期望模型能夠像人類一樣思考和理解世界。

模型的內部機制可能非常複雜，難以用簡單的語言來解釋。

AI 人才

高密度頂尖人才對於成功至關重要，而不僅僅是一個龐大的團隊。這意味著，Anthropic 將致力於吸引和培養頂尖的 AI 人才。

AI 人才是 AI 技術發展的重要基礎，Anthropic 將不斷努力吸引和培養頂尖的 AI 人才。

開放的心態

開放的心態和願意嘗試是 AI 研究人員和工程師的重要品質。這意味著，Anthropic 將鼓勵其員工保持開放的心態，並勇於嘗試新的想法。

開放的心態是 AI 技術發展的重要驅動力，它可以幫助我們不斷突破技術的界限。

親身體驗

直接與模型互動對於理解它們至關重要。這意味著，Anthropic 將鼓勵其員工親身體驗 AI 模型，以便更好地了解它們的優缺點。

親身體驗是理解 AI 模型的重要途徑，它可以幫助我們更深入地了解模型的行為。

憲法式 AI

這種方法允許模型根據一組原則自行訓練。這是一種很有前景的方法，可以幫助我們開發更安全、更可靠的 AI 模型。

憲法式 AI 的目標是讓模型能夠更好地理解人類的價值觀和道德規範，並產生更符合人類期望的回應。

模型規範

這個概念類似於憲法式 AI，它定義了模型的目標和行為。這意味著，我們需要明確定義 AI 模型的目標和行為，以確保其安全性和可靠性。

模型規範是一種重要的工具，可以幫助我們控制 AI 模型的行為。

災難性濫用

這是一個主要問題，涉及在網路安全和生物武器等領域濫用模型。這意味著，我們需要採取各種措施來防止 AI 模型被用於有害的目的。

災難性濫用是 AI 技術發展的重要風險，我們需要採取各種措施來降低這種風險。

自主性風險

隨著模型獲得更多自主性，確保它們與人類意圖保持一致非常重要。這意味著，我們需要開發新的方法來控制 AI 模型的自主性，以確保其與人類的意圖保持一致。

自主性風險是 AI 技術發展的重要挑戰，我們需要採取各種措施來應對這種挑戰。

ASL 級別

這些級別根據模型的功能和潛在風險對模型進行分類。這意味著，我們需要根據模型的風險程度來採取不同的安全措施。

ASL 級別是一種重要的工具，可以幫助我們對 AI 模型進行分類和管理。

AGI 時間表

實現 AGI 的時間表尚不確定，但可能在未來幾年內實現。這意味著，我們需要做好準備，迎接 AGI 的到來。

AGI 的實現將對人類社會產生深遠的影響，我們需要提前做好準備。

生物學和醫學中的 AGI

AGI 有可能透過加速研究和開發來徹底改變這些領域。這意味著，AGI 將在生物學和醫學領域發揮重要作用。

AGI 在生物學和醫學領域的應用將為人類帶來巨大的福祉。

AI 作為研究助理

在早期階段，AI 將充當研究助理，幫助科學家進行實驗和數據分析。這意味著，AI 將成為科學研究的重要工具。

AI 作為研究助理將幫助科學家更快速、更高效地進行研究。

AI 對生產力的影響

雖然 AI 有可能顯著提高生產力，但也存在與組織結構和新技術採用緩慢相關的挑戰。這意味著，我們需要解決這些挑戰，才能充分利用 AI 技術的潛力。

AI 對生產力的影響是複雜的，我們需要採取各種措施來確保 AI 技術能夠為人類帶來福祉。