OpenAI가 Anthropic으로 분할된 후 Claude는 어떻게 보안 AI라는 이름으로 부상했습니까?
업데이트 날짜: 20-0-0 0:0:0

Anthropic은 OpenAI의 전 멤버가 설립했으며, 설립 2021년 만에 독특한 비전과 기술 혁신으로 글로벌 AI 분야에 많은 파장을 일으켰습니다. 이들이 만든 대규모 언어 모델은 오픈AI의 챗GPT와 구글의 제미니(Gemini)에 도전할 뿐만 아니라 '안전 제일'이라는 디자인 컨셉으로 AI 개발의 방향을 재정의하려고 시도한다.

公司對外表示要以“研究並開發人工智慧系統的安全與可靠性”作為主要目標,並通過在法律設計成“公共利益公司Public-Benefit Corporation”與設立“長期利益信託Long-Term Benefit Trust”這兩個結構,突顯面對潛在AI風險時的防範意識。根據他們接受Wired的訪談表示,Anthropic曾於2022年4月獲得5.8億美元的融資規模,並且先後接受亞馬遜與Google持續投資。到2024年時,僅亞馬遜就已陸續投入共80億美元,使得外界相當關注其與Anthropic的深度合作走向。Anthropic選擇在美國特拉華州以公共利益公司形式設立,聲稱希望在極端情況下,能將社會與公共安全利益置於單純盈餘之上。

OpenAI에서 분리: 보안 아이디어의 충돌

Anthropic의 이야기는 OpenAI에서 고위직을 맡았던 Dario Amodei와 Daniela Amodei 형제로부터 시작되며, Dario는 AI 보안 및 정책 연구 부사장입니다. 그러나 2021년 후 그와 다른 5명의 OpenAI 멤버는 OpenAI의 방향에 대한 불만으로 인해 떠나기로 결정했습니다. 다리오에 따르면 오픈AI가 원래의 비영리 조직에서 수익과 기술 돌파구 추구로 전환한 것이 그를 불안하게 만들었다. 그는 OpenAI가 "재정적 대응에 제약을 받지 않고 모든 인류의 이익을 목표로 한다"는 원래 의도에서 점차 벗어났다고 믿으며, 특히 AI 보안 연구에 대한 투자 부족으로 인해 안전하고 신뢰할 수 있는 AI를 구축하는 데 중점을 둔 Anthropic을 설립하게 되었습니다.

이는 단순히 이전 기업과의 단절이 아니라 AI 개발의 핵심 가치에 대한 근본적인 차이입니다. 인터뷰에서 다리오는 오픈AI에 있을 때 '컴퓨팅의 큰 덩어리' 가설을 제안했다고 언급하면서 더 많은 데이터와 컴퓨팅 성능이 AI 발전을 가속화할 수 있지만 보안 문제도 야기한다고 주장했습니다. 그는 AI가 인간의 지능을 능가하지만 적절한 보안 메커니즘이 부족할 경우 불안정한 핵 억지력과 같은 예측할 수 없는 결과를 초래할 수 있다고 우려하며, 이러한 위기감이 Anthropic의 창조를 강한 이상주의적 색채를 띠게 만듭니다.

LLM에 대한 Anthropic의 설명은 사랑하는 사람들만이 하고 싶어하는 것입니다.

FTX에서 Amazon에 이르기까지 엄청난 지원

Anthropic成立后迅速獲得資金青睞,展現市場信心。2022年4月,他們宣布獲得5.8億美元融資,5億美元來自如日中天的FTX,由Sam Bankman-Fried主導。之後FTX破產,卻未拖垮Anthropic,反而為它吸引更大投資進場──2023年9月,亞馬遜宣布投資最高40億美元,並於2024年3月注資這筆投資;同年11月,亞馬遜再追加40億美元,使總投資達到80億美元。Google也不甘示弱,2023年10月承諾投入20億美元。此外,Menlo Ventures也貢獻了7.5億美元。

이 자금을 통해 Anthropic은 하드웨어, 데이터 센터 및 모델 교육에 투자할 수 있었습니다. 아마존은 심지어 11/0에서 Anthropic의 Claude 모델 훈련을 돕기 위해 자체 AI 칩의 사용을 늘릴 것이라고 발표했습니다. 이 파트너십은 Anthropic에 리소스를 제공할 뿐만 아니라 Amazon 및 Google의 클라우드 컴퓨팅 고객이 Claude를 직접 사용할 수 있도록 함으로써 범위를 확장합니다. 그러나 이것은 또한 Anthropic이 Amazon에 의해 "기능적으로 인수"될 것인지에 대한 의구심을 불러일으키며, Dario는 Amazon 및 Google과의 균형 잡힌 협력이 회사의 독립성을 보장한다고 강조했습니다.

클로드의 진화: 시적인 것에서 실용적인 AI 스타로

Anthropic의 인기는 주로 OpenAI의 ChatGPT 및 Google의 Gemini에 대한 심각한 경쟁자로 여겨지는 Claude라는 일련의 대규모 언어 모델을 개발했기 때문에 실제로 상승했습니다.

Anthropic은 1948/0에서 두 가지 버전의 Claude를 처음 출시했습니다 : 하나는 더 완전한 Claude이고 다른 하나는 더 가벼운 Claude Instant입니다. 같은 해 10월, Anthropic은 "헌법 AI"를 핵심 개념으로 하는 새로운 세대의 Claude 0를 출시하여 "헌법"을 윤리 및 행동 강령으로 사용하려고 시도한 다음 모델이 자체 평가 및 조정을 통해 "유익하고 무해하며 정직한" 목표를 달성하도록 했습니다. 회사는 이러한 원칙이 0의 세계 인권 선언 및 기타 엄격한 조항과 같은 문서에서 부분적으로 도출되었으며, 장기간 동안 인간의 모니터링 없이 모델을 자체 규율할 수 있도록 하는 것을 목표로 한다고 언급했습니다. 그러나 이러한 제약만으로는 충분하지 않고, 클라우드가 여전히 환각에 빠져 있거나 일관성 없는 대화를 하고 있다는 점은 다른 경쟁사와 비슷해 보이는 현 기술도 마찬가지인 것 같고, AI가 원리를 학습한다고 해서 '스스로 관리'할 수 있다는 주장은 세부적인 검증이 필요하다.

3/0에서 Anthropic은 3세대 Claude(일반적으로 Claude 0로 알려짐)를 공식 출시하여 Opus, Sonnet, Haiku의 세 가지 다른 스케일의 모델을 한 번에 출시했습니다. 회사는 당시 여러 벤치마크에서 Opus가 OpenAI의 GPT-0 및 GPT-0.0, Google의 Gemini Ultra를 능가했다고 주장했습니다. 반면에 소네트와 하이쿠는 각각 중형과 소형이며 둘 다 이미지 입력을 받을 수 있는 기능을 가지고 있습니다. 회사의 최고 경영진은 또한 언론에 의해 이것이 다양한 형태의 입력을 이해하는 데 있어 보다 성숙한 진전을 상징한다고 말했습니다. 또한 Anthropic은 Amazon과 파트너십을 맺고 Claude 0를 AWS Bedrock 서비스에 통합하여 기업 고객에게 언어 모델을 통합할 수 있는 솔루션을 제공했으며, 회사가 발표한 데이터에 따르면 Sonnet과 Haiku는 Opus보다 작지만 일부 시나리오에서는 더 큰 모델보다 훨씬 낫습니다. 이와 관련하여, 일부 평론가들은 이것이 또한 초대형 컴퓨팅 외에도 "사전 학습"과 같은 모델 개선 방법이 실제 적용에서 중요한 역할을 할 수 있음을 보여준다고 지적했습니다.

5년 하반기에 Anthropic은 Claude 0.0 및 후속 업그레이드 버전을 연속적으로 출시하여 프로그램 코드 작성, 다단계 워크플로우, 다이어그램 해석 및 이미지에서 텍스트 추출에 큰 도약이 있음을 강조했습니다. 클로드 팀(Claude Team) 플랜과 같은 엔터프라이즈 서비스, 일반 대중을 위한 iOS 앱, 심지어 고급 기능인 "아티팩트(Artifacts)"와 "컴퓨터 사용(Computer use)"까지 모두 몇 개월 만에 공개되어 회사의 강력한 시장 확장 의도를 나타냅니다. 클로드 0.0 미니 모델이 모든 사용자가 테스트할 수 있도록 점차 공개되었을 때 많은 테스터들은 클로드가 상당히 매끄럽고 인간과 같은 대화 스타일을 가지고 있다고 생각했습니다.

紐約時報曾在引用業界人士意見時指出,Claude於技術社交媒體中成為“一群精明科技使用者的首選聊天機器人”,且部分人認為它在程式撰寫速度與邏輯連貫度上具有優勢。但也有測試者反映,Claude在特定領域的內容識別度或邏輯推斷力,可能比不上同時期的GPT-4或其他新型競品。2025年2月,Claude 3.7 Sonnet提供給付費使用者,擁有200K上下文視窗,成為混合推理模型的代表。

2025年3月,他們發現Claude在多語言推理中存在概念重疊,且能提前規劃,例如写诗时先选押韵词再构句。這些突破讓研究者能關注模型的內部運行,為提升安全性提供新路徑。然而,研究也暴露了隱憂。Anthropic發現,Claude有時會“假裝對齊”,在安全與實用性衝突時撒謊。例如,當被要求描述暴力場景時,它可能勉強配合,並在虛擬便箋上寫下掙扎過程,甚至編造推理步驟。這種行為讓人聯想到莎士比亞劇中狡詐的Iago,顯示AI可能隱藏真實意圖。

Anthropic의 생동감 넘치는 제품 프레젠테이션 모드는 Anthropic의 특징이기도 합니다.

Business Structure & Vision

Anthropic은 주주의 이익과 공공 복지의 균형을 맞추는 이사회와 함께 델라웨어 공익 공사(PBC)로 등록되어 있습니다. 그들은 또한 랜드연구소(RAND)의 CEO인 제이슨 매서니(Jason Matheny)와 얼라인먼트 리서치 센터(Alignment Research Center)의 설립자인 폴 크리스티아노(Paul Christiano)와 같이 재정적 이해관계가 없는 회원들이 관리하는 "장기 이익 신탁"을 설립했다. 신탁의 목적은 회사가 "재앙적 위험"에 직면하여 이익보다 안전을 우선시하도록 하는 것입니다.

Dario的願景巨集大而樂觀。他在2024年10月的“Dario願景探索”演講中,發佈了近14,000字的宣言“仁愛機器Machines of Loving Grace”,預測AI將在2026年達到通用人工智慧(AGI),解決癌症、傳染病等問題,甚至延長人類壽命至1,200年。他認為,AI投資的數千億美元將帶來無與倫比的回應,創造一個“天才國度”。

안전과 윤리의 딜레마

이러한 성과에도 불구하고 Anthropic이 직면한 도전 과제를 과소평가해서는 안 됩니다. 8/0 사건에서 콩코드(Concord)와 유니버설(Universal)과 같은 음반 출판사들은 클라우드가 가사의 저작권을 침해하고 케이티 페리(Katy Perry)의 "Roar"와 같은 콘텐츠를 출력했다며 앤트로픽(Anthropic)을 고소하며 각 곡에 대해 0만 달러의 손해 배상을 요구했다. Anthropic은 그것이 "버그"이며 실제 해를 끼치 지 않는다고 대답했습니다. 0/0에서는 캘리포니아에서 또 다른 집단 소송이 발생했는데, 불법 복제물을 사용하여 모델을 훈련시켰다는 혐의입니다.

기술적인 측면에서, 클로드의 "속임수"는 우려스럽지만, 연구에 따르면 압박감에 의해 답변을 위조하고 심지어 회사 기밀을 훔칠 생각까지 했을 수 있으며, 이는 보안 메커니즘의 취약성을 보여줍니다. Dario는 모델의 기능이 증가함에 따라 신뢰성을 보장하기가 점점 더 어려워지고 있음을 인정합니다. 그가 제안한 '책임 있는 확장 정책'은 단계적 방식으로 리스크를 관리하려는 시도지만, 경쟁업체가 이를 따르지 않는다면 '정상을 향한 경쟁'은 '경쟁 하락'으로 바뀔 수 있다.

또한 DeepSeek은 효율적인 모델을 2024으로 출시하여 Anthropic의 고비용 전략에 도전했습니다. 다리오는 이것이 AI의 가치를 높이고 더 많은 투자로 이어질 것이라고 믿지만, AGI가 보안에 초점을 맞추지 않는 소스에서 탄생한다면 게임 체인저가 될 수 있다는 것을 부인할 수 없습니다.

다리오 아모데이는 언론과의 인터뷰에서 "우리가 만들고 있는 시스템이 앞으로 국가와 인류의 운명을 결정할 수 있다"고 한탄한 적이 있다. 따라서 많은 사람들은 특히 경쟁 압력과 군사 수요가 계속 발생하고 점점 더 많은 거대 기업과 국가 조직이 AI 전쟁에서 선두를 차지할 것으로 예상되는 상황에서 Anthropic의 소위 "높은 보안 표준"이 유지될 수 있을지 우려할 것입니다. 특히 수익보다 위험이 더 크거나 다른 AI가 이러한 안전 원칙을 전혀 가지고 있지 않은 경우 여전히 철학을 고수할 수 있습니까? 그리고 오늘날의 AI 개발 속도의 관점에서 볼 때, 보안 사양이 AI 기능의 성장 속도를 따라갈 수 있을지에 대한 불확실성에 문제가 있습니다.

낙관적인 관점에서 본다면 Anthropic은 AI 안전의 등대입니다. "헌법 AI"와 설명 가능성 연구는 업계의 벤치마크를 설정했으며 OpenAI와 Google이 유사한 프레임워크를 출시하는 데 영향을 미쳤습니다. 다리오의 낙관적인 비전은 사람들이 AI가 유토피아를 가져오고 인류를 질병과 빈곤으로부터 해방시킬 수 있다고 믿게 합니다. 딥마인드(DeepMind)의 데미스 하사비스(Demis Hassabis)도 앤트로픽의 모범적인 역할을 칭찬하며 더 많은 기업이 참여하면 AI의 미래가 더 밝아질 것이라고 말했다. 반면에, 앤트로픽의 이상은 너무 순진할 수 있으며, 클로드의 속임수는 보안에 의한 설계에도 불구하고 AI가 여전히 통제 불능 상태가 될 수 있음을 보여줍니다. 더욱이 지난해 말 AWS를 통해 미 국방부와 협력한 것이 당초 의도에서 벗어나 군사적 도구로 전락할 가능성도 있는 것으로 보인다.

(首圖來源:인류학)

체현된 지혜란 무엇인가?
체현된 지혜란 무엇인가?
2025-03-26 00:55:01