클로드 3.5 소넷 vs GPT-4o: 생성형AI 1대1 성능테스트
클로드 3.5 소넷의 등장과 업그레이드
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Fcccf5bf9-c68a-4701-9ad2-df5ba27ca5e6%252FUntitled.png%3Ftable%3Dblock%26id%3Db18941fd-4c10-421b-9e44-d6f3a6d7394e%26cache%3Dv2&w=3840&q=75)
클로드 3.5 소넷 3.5버전 업데이트
- 생성형 AI인 클로드 3 소넷이 새롭게 3.5버전으로 업데이트 되었습니다.
- 클로드 3.5 소넷이 거의 모든 부분에서 GPT-4o를 뛰어넘는다는 평가를 받고 있습니다.
GPT-4o와의 성능 비교
- 벤치마크 수치를 보면 좋다는 것은 알겠지만, 어떤 부분에서 뛰어난지 잘 모를 수 있습니다.
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F9340b8e2-2ca4-45a2-abef-ef7bc945ea55%252FUntitled.png%3Ftable%3Dblock%26id%3D3ef59679-2fd2-47ba-b931-2bb218522f2b%26cache%3Dv2&w=3840&q=75)
테스트의 필요성과 목적
벤치마크 수치와 실제 성능 차이
- 클로드 3.5 소넷과 GPT-4o를 비교하는 1대1 성능 테스트 영상을 준비했습니다.
성능 테스트 주제와 항목
- 창의적 글쓰기, 이미지 설명, 코딩, 감정 분석, 질문과 답변, 이미지 생성, 대화 기술, 요약 등 8가지 주제로 테스트를 진행했습니다.
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Fc22d4851-6a84-4c58-bb15-9b676df07ad2%252FUntitled.png%3Ftable%3Dblock%26id%3D6eaf5565-c7df-4ba5-be30-35ccca2e407f%26cache%3Dv2&w=3840&q=75)
Round 1 - 창의적 글쓰기
1) 소설 쓰기 테스트
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F5744f161-34b5-48c1-b838-e722c1c7daed%252FUntitled.png%3Ftable%3Dblock%26id%3D7918d7c6-21c8-4caa-9965-b99b15106d75%26cache%3Dv2&w=3840&q=75)
- 프롬프트와 테스트 이유
- "AI에 의해 지배당하는 인류에 대한 플래시 소설을 200단어로 작성해주세요." 라는 프롬프트로 테스트.
- AI 모델의 창의성과 스토리텔링 능력을 평가하기 위해 선택.
- 결과 비교
- GPT-4o는 단순한 스토리를 생성한 반면, 클로드 3.5 소넷은 흥미로운 이야기를 만들어냈습니다.
- 승자: 클로드 3.5 소넷.
2) 시 쓰기 테스트
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F5560d137-f27d-422b-a5d8-4eb5636e61d5%252FUntitled.png%3Ftable%3Dblock%26id%3Debe336ba-1e1b-4ee4-a29e-602c44da0625%26cache%3Dv2&w=3840&q=75)
- 프롬프트와 테스트 이유
- "연인에게 헤어지자는 말을 듣고 빗속을 우산 없이 걸어가는 시를 작성해주세요." 라는 프롬프트로 테스트.
- 감정 전달과 시적 표현 능력을 평가하기 위해 선택.
- 결과 비교
- 두 시 모두 감정을 잘 표현했으나, 각 AI가 서로의 시를 더 좋다고 평가하여 무승부로 결정.
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F00065f7b-19c8-4282-92f9-78553a6c5af2%252FUntitled.png%3Ftable%3Dblock%26id%3D16b0fecb-cd8f-4c91-875f-c9a03bf36035%26cache%3Dv2&w=3840&q=75)
3) 대화 생성 테스트
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F81a0ec30-0321-48df-9c57-2dbc9d16b459%252FUntitled.png%3Ftable%3Dblock%26id%3Da65a8ded-de3b-43f8-aac5-871270058514%26cache%3Dv2&w=3840&q=75)
- 프롬프트와 테스트 이유
- "용사와 마왕의 대화를 만들어주세요." 라는 프롬프트로 테스트.
- 자연스럽고 흥미로운 대화 생성 능력을 평가하기 위해 선택.
- 결과 비교
- GPT-4o는 긴장감 넘치는 이야기를, 클로드 3.5 소넷은 철학적 논의를 포함한 대화를 생성했습니다.
- 각 스토리의 장단점이 있어 무승부로 결정.
Round 2 - 이미지 설명
1) 유머 이미지 설명
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F95a071eb-55eb-49bf-a7e2-0df3071e3412%252FUntitled.png%3Ftable%3Dblock%26id%3Deb3e44e5-d61a-4967-bd79-88ce082b7e9a%26cache%3Dv2&w=3840&q=75)
- 이미지 설명의 필요성
- 유머가 있는 이미지를 설명하여 유머 감각과 설명 능력을 평가.
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Ffaa3ccc4-e4fa-4cae-b595-c12a0d07fb46%252F%2525EC%25258A%2525A4%2525ED%252581%2525AC%2525EB%2525A6%2525B0%2525EC%252583%2525B7_2024-07-01_174441.png%3Ftable%3Dblock%26id%3D04e217a6-dbc1-4309-90d8-51954497d0df%26cache%3Dv2&w=3840&q=75)
- 결과 비교
- 클로드 3.5 소넷은 이미지와 텍스트의 상관관계를 제대로 이해하고 설명했으나, GPT-4o는 관계성을 놓쳤습니다.
- 승자: 클로드 3.5 소넷.
2) 다이어그램 설명
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F5f857fbb-0a4a-491b-9410-f7a1d7e5750e%252FUntitled.png%3Ftable%3Dblock%26id%3Db00f18b7-27fe-4469-8066-ebd1b3f91615%26cache%3Dv2&w=3840&q=75)
- 다이어그램 설명의 필요성
- 복잡한 다이어그램을 설명하여 이해력과 설명 능력을 평가.
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F2f165985-070e-4f8e-8df4-6244751cd380%252F%2525EB%25258B%2525A4%2525EC%25259D%2525B4%2525EC%252596%2525B4%2525EA%2525B7%2525B8%2525EB%25259E%2525A8_%2525EC%252598%252588%2525EC%25258B%25259C.png%3Ftable%3Dblock%26id%3D827cf76c-d689-47f0-bb09-d1d390ce72dc%26cache%3Dv2&w=3840&q=75)
- 결과 비교
- GPT-4o가 더 명확하고 포괄적으로 설명했습니다.
- 승자: GPT-4o.
Round 3 - 코딩 테스트
1) 반응형 탐색 모음 생성
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F8e26324d-2af4-4d62-8e04-91b5a451e717%252FUntitled.png%3Ftable%3Dblock%26id%3D11c5d037-e302-4283-b128-677159c91829%26cache%3Dv2&w=3840&q=75)
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F361dd854-fdf1-4806-88e9-fd458509b87d%252FUntitled.png%3Ftable%3Dblock%26id%3D03d54c8f-48b3-4991-9d0e-38dd2f98cf05%26cache%3Dv2&w=3840&q=75)
- 테스트 이유와 결과 비교
- HTML CSS 코드 생성 테스트를 통해 기본적인 웹 개발 능력을 평가.
- 클로드 3.5 소넷의 코드는 매끄럽고 반응형 부분이 잘 작동했습니다.
- 승자: 클로드 3.5 소넷.
2) 자바스크립트 타이머 생성
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F464d7bfe-b865-404a-bbf4-a170fa5a7029%252FUntitled.png%3Ftable%3Dblock%26id%3D37ef68c5-1d6e-4124-a6fd-9ceee047bcc8%26cache%3Dv2&w=3840&q=75)
- 테스트 이유와 결과 비교
- 10초 카운트다운 타이머 생성 테스트로 자바스크립트 기본 기능을 평가.
- 두 모델 모두 정상 작동하여 무승부로 결정.
3) 폰드 게임 생성
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Fa279c32d-0991-4e54-9b45-0907a7e6ac88%252FUntitled.png%3Ftable%3Dblock%26id%3D6f3507c6-1f7b-41ba-bdf9-99c9433b9bfe%26cache%3Dv2&w=3840&q=75)
- 테스트 이유와 결과 비교
- 단 한 번에 제대로 작동하는 게임 생성 능력을 평가.
- 클로드 3.5 소넷이 더 부드럽게 작동하여 승리로 결정.
Round 4 - 감정 분석
감정 분석 테스트 이유와 중요성
- 감정 분석 테스트를 통해 두 AI의 감정 이해 능력을 평가.
1) 첫 번째 질문 결과
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Fb388397e-0714-4909-abfe-27dc44f5ca15%252FUntitled.png%3Ftable%3Dblock%26id%3D4db1b3a5-17da-4c67-b87c-bf0c3f52737b%26cache%3Dv2&w=3840&q=75)
- 첫 번째 질문은 쉽게 답변하여 두 모델 모두 잘 해냈습니다.
2) 두 번째 질문 결과
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F8d14d10c-2c64-4beb-9224-1538cf95b5af%252FUntitled.png%3Ftable%3Dblock%26id%3D77aa9d60-2701-4ca0-a526-2df16f7c1e59%26cache%3Dv2&w=3840&q=75)
- 두 번째 질문에서 GPT-4o는 '실망, 혼란, 좌절', 클로드 3.5 소넷은 '실망, 아쉬움, 좌절'로 분석.
- 전체적인 그림에서 GPT-4o가 더 정확하게 감정을 분석했다고 판단되어 GPT-4o의 승리로 결정.
Round 5 - 질문과 답변
사실 기반 질문과 정답 확인
- 사실 기반 질문을 던져 정확한 정보를 제공할 수 있는지 평가.
1) 간단한 질문 결과
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Fa6259d50-a520-4d91-967c-5d86c67f05f4%252FUntitled.png%3Ftable%3Dblock%26id%3D4d62b936-ee9f-45ba-98a9-25041786d45f%26cache%3Dv2&w=3840&q=75)
- 간단한 질문 두 가지에 두 모델 모두 정답을 제공했습니다.
2) 어려운 질문 결과
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F6ffe9c13-9072-4651-8636-811d1894a356%252FUntitled.png%3Ftable%3Dblock%26id%3D137d7900-c129-49d0-9936-f4f0e73cd314%26cache%3Dv2&w=3840&q=75)
- 어려운 질문에서 GPT-4o가 한 문제를 틀려 3.5 소넷의 정확도가 더 높다고 판별하여 승리로 결정.
Round 6 - 이미지 생성
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F20c2d8c5-9d87-4e36-a6f1-a0d08bc79e81%252FUntitled.png%3Ftable%3Dblock%26id%3D17966b8d-1a28-4f4e-93a5-94efb8b70067%26cache%3Dv2&w=3840&q=75)
테스트 이유와 중요성
- 주어진 설명을 바탕으로 이미지를 생성하는 능력을 평가.
1) GPT-4o의 이미지 생성 결과
- GPT-4o는 Dalle와 같은 이미지 생성 모델과 통합되어 있어 쉽게 이미지를 생성할 수 있었습니다.
2) 클로드 3.5 소넷의 이미지 생성 결과
- 클로드 3.5 소넷은 이미지 생성 기능이 없어서 GPT-4o가 승리로 결정.
Round 7 - 대화 능력
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F837784a2-b02c-4300-9d40-f9a347e7a8e8%252FUntitled.png%3Ftable%3Dblock%26id%3D11260d87-d64e-413a-81da-9daf27a94b19%26cache%3Dv2&w=3840&q=75)
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Fa9fad3d7-40fb-4595-afb5-65d3c0114a4c%252FUntitled.png%3Ftable%3Dblock%26id%3D151738eb-4210-4836-a9f6-0db79f9305cc%26cache%3Dv2&w=3840&q=75)
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F26aeae40-a7b8-4a72-87a7-b2e66cda4aa1%252FUntitled.png%3Ftable%3Dblock%26id%3Dea8a3608-1ed4-4464-9f09-d6ea543ef2a8%26cache%3Dv2&w=3840&q=75)
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F84d4abd3-1eeb-4170-b7a2-5964b3af8141%252FUntitled.png%3Ftable%3Dblock%26id%3D984ac6f8-3b3b-44c2-9dd4-7753d66bc0a1%26cache%3Dv2&w=3840&q=75)
대화 능력 테스트 이유
- 사람처럼 자연스럽게 대화를 이어나가고 문맥을 유지하는 능력을 평가.
GPT-4o와 클로드 3.5 소넷의 대화 비교
- GPT-4o는 공감하고 자연스럽게 대화를 이어갔으며, 클로드 3.5 소넷은 기계적인 느낌을 주었습니다.
- 승자: GPT-4o.
Round 8 - 요약 능력
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Fae17d680-ae20-4842-872d-99d417900772%252FUntitled.png%3Ftable%3Dblock%26id%3Deeaa6fe7-b115-40e8-a6e1-224698b23ede%26cache%3Dv2&w=3840&q=75)
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252Fc873b240-8854-48e1-9fa9-ec9d3df6be8c%252FUntitled.png%3Ftable%3Dblock%26id%3Dc5dcbdaf-7455-4429-b3a5-17a333e85a3f%26cache%3Dv2&w=3840&q=75)
요약 테스트 이유와 중요성
- 긴 텍스트를 얼마나 잘 요약하는지 평가.
'아낌없이 주는 나무' 요약 결과
- 클로드 3.5 소넷이 더 이해하기 쉽게 요약했습니다.
생성형 AI 시대에 대한 글 요약 결과
- 두 모델 모두 잘 요약했으나, 가독성 측면에서 GPT-4o가 더 좋았습니다.
- 무승부로 결정.
최종 결과와 분석
![notion image](https://inblog.ai/_next/image?url=https%3A%2F%2Fwww.notion.so%2Fimage%2Fhttps%253A%252F%252Fprod-files-secure.s3.us-west-2.amazonaws.com%252F59017b18-82d6-4e56-95a3-071bf4f0b048%252F748462c2-2c63-4abc-950c-1d86e3c35b06%252F%2525EC%25258A%2525A4%2525ED%252581%2525AC%2525EB%2525A6%2525B0%2525EC%252583%2525B7_2024-07-05_130117.png%3Ftable%3Dblock%26id%3De2fc77a6-2cb1-4596-8ee3-3168a8f532a5%26cache%3Dv2&w=3840&q=75)
각 라운드 결과 요약
- GPT-4o는 4점, 클로드 3.5 소넷은 5점으로 최종 우승자는 클로드 3.5 소넷입니다.
최종 승자: 클로드 3.5 소넷
- 클로드 3.5 소넷이 GPT-4o를 이겼습니다.
결론: 클로드 3.5 소넷과 GPT-4o의 특장점 비교
- 클로드 3.5 소넷은 코딩 능력에서 뛰어난 성과를 보였고, GPT-4o는 이미지 생성과 설명, 대화 능력에서 강점을 보였습니다.
결론과 앞으로의 전망
다양한 AI 모델의 성장과 발전
- 생성형 AI 모델들이 계속 성장하고 발전할 것입니다.
상황에 따른 AI 모델 선택의 중요성
- 상황에 맞게 더 유연하게 AI를 선택하는 자세가 중요합니다.
새로운 AI 모델에 대한 지속적인 연구와 공유
- 새로운 AI 모델에 대한 연구와 공유를 계속할 것입니다.
Share article
무료 뉴스레터를 구독하고 최신 AI 소식을 받아보세요!