GPT-4 대 ​​GPT-3.5

Mar 16 2023
어느 것을 사용해야 합니까?
오랫동안 기다려온 GPT-4가 출시되었습니다. 수십 개의 트위터 계정과 기술 블로그가 소문난 모델에 열광하면서 과장되었습니다.
GPT-4 기능, 작성자의 스크린샷

오랫동안 기다려온 GPT-4가 출시되었습니다.

수십 개의 트위터 계정과 기술 블로그가 소문난 모델에 열광하면서 과장되었습니다.

저는 ChatGPT Plus를 사용할 수 있는 국가에 있어서 운 좋게도 그것을 가지고 놀 수 있었습니다.

위의 스크린샷에서 볼 수 있듯이 "추론"과 "간결함" 수준이 높은 것을 볼 수 있으며 OpenAI 는 "사전 추론, 복잡한 지침 이해 및 더 많은 창의성이 필요한 작업" 에 탁월하다고 언급합니다 .

이것은 무엇을 의미 하는가?

귀하의 애플리케이션에는 어떤 것을 사용해야 합니까?

먼저 백서에서 직접 GPT-4 모델 의 장점에 대해 이야기하겠습니다 .

GPT-4의 기능

GPT-4의 시험 성적

가장 먼저 눈에 띄는 것은 어려운 시험에서 엄청나게 높은 점수를 받았다는 것입니다.

백서의 스크린샷

GPT-4 는 Uniform Bar Examination의 시뮬레이션 버전에서 응시자 상위 10%의 점수를 획득했습니다 .

이 놀라운 성능은 모델의 사전 훈련 과정에서 비롯된 것으로 보입니다.

또한 SAT 읽기/쓰기 및 수학 점수에서 상당히 높은 점수를 받았습니다.

그래도 아이비리그에 가려면 더 높아야 한다.

다국어 기능

기존 기계 학습 벤치마크의 한계 중 하나는 대부분 영어로 작성된다는 것입니다.

다른 언어에서 GPT-4의 기능을 평가하기 위해 연구자들은 57개 주제에 대한 객관식 문제 모음인 Azure Translate를 사용하여 MMLU 벤치마크를 다양한 언어로 번역했습니다.

결과는 GPT-4가 GPT-3.5의 영어 성능 과 라트비아어, 웨일스어, 스와힐리어와 같은 자원이 적은 언어를 포함하여 테스트한 대부분의 언어에 대한 기존 언어 모델을 능가하는 것으로 나타났습니다.

백서의 스크린샷

사용자 의도를 따르는 향상된 기능

GPT-4는 이전 모델에 비해 사용자 의도를 따르는 기능이 크게 향상되었습니다.

ChatGPT 및 OpenAI API에 제출된 5,214개의 프롬프트 데이터 세트에서 GPT-4 생성 응답이 프롬프트의 70.2%에서 GPT-3.5 보다 선호되었습니다 .

시각적 입력 기능

GPT-4는 또한 이미지와 텍스트가 포함된 프롬프트를 허용하므로 사용자가 모든 시각 또는 언어 작업을 지정할 수 있습니다.

이 모델은 인터레이스된 텍스트와 이미지로 구성된 입력이 주어지면 텍스트 출력을 생성합니다. GPT-4는 텍스트 전용 입력과 유사한 시각적 입력 기능을 보여 텍스트, 사진, 다이어그램 또는 스크린샷이 포함된 문서를 처리하는 데 능숙합니다.

언어 모델을 위해 개발된 표준 테스트 시간 기술은 이미지와 텍스트를 사용할 때도 효과적입니다.

시각적 입력을 처리하는 기능을 갖춘 GPT-4는 우리가 AI 모델과 상호 작용하고 활용하는 방식을 혁신할 수 있는 잠재력을 가지고 있습니다.

GPT-4에는 여전히 몇 가지 제한 사항이 있습니다(GPT3.5에서 개선되었지만).

GPT-4의 한계

신뢰할 수 없는 출력

GPT-4는 이전 모델과 마찬가지로 사실을 "환각"하고 추론 오류를 일으킬 수 있으므로 신뢰할 수 없습니다. 결과적으로 사용자는 GPT-4 생성 출력을 사용할 때 특히 고부담 상황에서 주의를 기울여야 합니다.

가능한 완화 전략에는 인적 검토, 추가 컨텍스트로 AI 접지 또는 고부담 사용 사례를 모두 피하는 것이 포함됩니다.

백서의 스크린샷

그러나 gpt-4 점수가 이전 제품보다 높은 것을 볼 수 있습니다.

최근 사건에 대한 제한된 지식

GPT-4의 사전 학습 데이터는 주로 2021년 9월까지의 소스에서 가져오므로 이 날짜 이후에 발생하는 이벤트에 대한 지식이 부족합니다.

결과적으로 GPT-4는 최근 개발에 대한 정확하거나 최신 정보에 대한 도움이 필요할 수 있습니다.

출력의 편향

GPT-4는 해결하고 관리해야 하는 다양한 편향이 있는 출력을 생성할 수 있습니다. 이러한 편향을 완전히 특성화하고 처리하기 위한 노력이 진행 중이며, 광범위한 사용자의 가치, 광범위한 범위 내 사용자 지정 기능, 해당 범위에 대한 대중의 의견을 반영하는 적절한 기본 동작으로 AI 시스템을 만드는 것을 목표로 합니다.

그러나 많은 사용자들은 OpenAI가 여전히 널리 좌파적이라고 말합니다.

출처: NMassian의 트윗

비용

저에게는 비용이 가장 중요한 요소입니다. GPT3.5-turbo는 API 토큰으로 훨씬 저렴합니다(15~30 x) .

  • GPT3.5- 터보: 1,000개 토큰당 $0.002
  • GPT4: 1,000 토큰당 $0.03 ~ $0.06

따라서 보다 복잡한 추론이 필요하고 긍정적인 ROI를 제공할 수 있는 사용 사례가 필요합니다.

GPT-4 릴리스에 대해 어떻게 생각하시나요?

과대 광고 사진

우리는 소셜 미디어에서 많은 과대 광고를 보았습니다. 많은 분들이 이 사진을 보셨으리라 생각합니다.

이러한 업데이트가 기대에 부응했습니까? 아니면 iPhone 업데이트에 가깝습니까?

데이터와 숫자로 GPT-4 이유를 보는 것은 정말 놀라운 일입니다. 구축 중인 애플리케이션은 이미 흥미롭습니다.

LLM(대규모 언어 모델)이 계속 발전하고 개선됨에 따라 더 발전된 추론, 복잡한 지침 이해 및 출력의 창의성 증가를 기대할 수 있습니다.

인간의 능력을 능가하기까지 얼마나 걸립니까? $20/월에 그 능력을 가질 수 있습니까?

이와 같은 뉴스를 더 읽고 싶다면 제 무료 뉴스레터 구독을 고려해 보십시오.

또는 월 $5에 미디엄 구독을 할 수 있습니다. 이 링크를 사용하면 저에게 도움이 될 것입니다.

여기 에서 DDIntel을 구독하십시오 .

여기 저희 웹사이트를 방문하세요:https://www.datadriveninvestor.com

여기에서 저희 네트워크에 가입하세요:https://datadriveninvestor.com/collaborate