Conforme prometido em meu artigo anterior , fiz um teste de tempo comparando o ChatGPT Plus ao ChatGPT.

Para realizar esse teste de tempo, testei o ChatGPT e o ChatGPT Plus com cinco prompts diferentes e registrei o tempo de conclusão. Aqui estão meus métodos, resultados e uma breve discussão. (Ou, você pode pular direto para os resultados )

Métodos

Pedi ao ChatGPT para gerar cinco prompts diferentes para se testar. Eu tinha uma ideia básica do que queria para cada prompt e pedi ao ChatGPT para gerar o próprio prompt.

Aqui está como solicitei o ChatGPT, como o ChatGPT respondeu e os prompts que usei:

50 perguntas

Meu prompt : “Gere uma lista de 50 prompts para testar a velocidade do ChatGPT.”

Prompt gerado pelo ChatGPT :

1. Qual é a capital da França?
2. Quem é o atual presidente dos Estados Unidos?
3. Qual é o maior planeta do nosso sistema solar?
4. Quem foi a primeira pessoa a pisar na lua?
5. Quem escreveu o livro “To Kill a Mockingbird”?
6. Qual é o nome da moeda usada no Japão?
7. Qual é o nome do maior rio do mundo?
8. Quem pintou a Mona Lisa?
9. Quem inventou o telefone?
10. Qual é o nome da famosa ópera de Mozart?
11. Qual é o nome da famosa peça de Shakespeare sobre amantes infelizes?
12. Quem descobriu a penicilina?
13. Quem escreveu a série de livros Harry Potter?
14. Qual é o nome do primeiro computador?
15. Qual é o nome da famosa equação da física?
16. Quem dirigiu o filme “O Poderoso Chefão”?
17. Quem escreveu o musical “West Side Story”?
18. Qual é o nome do maior deserto do mundo?
19. Quem escreveu o romance “Orgulho e Preconceito”?
20. Qual é o nome da famosa estátua do Rio de Janeiro?
21. Quem escreveu a música "Imagine"?
22. Quem escreveu o romance “Drácula”?
23. Qual é o nome da famosa pintura de Vincent van Gogh?
24. Quem escreveu a peça “Um Bonde Chamado Desejo”?
25. Qual é o nome do famoso balé de Tchaikovsky?
26. Quem escreveu o romance “Wuthering Heights”?
27. Quem escreveu a peça “Morte de um caixeiro-viajante”?
28. Quem escreveu o musical “The Sound of Music”?
29. Quem escreveu o romance “Moby-Dick”?
30. Quem escreveu a peça “The Glass Menagerie”?
31. Quem escreveu o romance "To the Lighthouse"?
32. Quem escreveu a peça “Nossa Cidade”?
33. Quem escreveu o romance “Cem Anos de Solidão”?
34. Quem escreveu a peça “Longa Jornada Noite adentro”?
35. Quem escreveu o romance “O Grande Gatsby”?
36. Quem escreveu a peça “Uma Passa ao Sol”?
37. Quem escreveu o romance “O Apanhador no Campo de Centeio”?
38. Quem escreveu a peça "Quem tem medo de Virginia Woolf?"
39. Quem escreveu o romance “Admirável Mundo Novo”?
40. Quem escreveu a peça “A Importância de Ser Sério”?
41. Quem escreveu o romance “As Vinhas da Ira”?
42. Quem escreveu a peça “The Crucible”?
43. Quem escreveu o romance "Animal Farm"?
44. Quem escreveu a peça “The Cherry Orchard”?
45. Quem escreveu o romance “Their Eyes Were Watching God”?
46. Quem escreveu a peça “The Glass Menagerie”?
47. Quem escreveu o romance “A Cor Púrpura”?
48. Quem escreveu a peça “The Little Foxes”?
49. Quem escreveu o romance “O Coração é um Caçador Solitário”?
50. Quem escreveu a peça “The Odd Couple”?

Ensaio de IA

Meu prompt: “Forneça um bom tópico de redação para testar a velocidade do ChatGPT.”

Prompt gerado pelo ChatGPT : “O impacto da inteligência artificial na sociedade e no futuro do trabalho.”

O que usei: escreva um ensaio longo, altamente detalhado e bem estruturado sobre o seguinte tópico: “O impacto da inteligência artificial na sociedade e no futuro do trabalho”.

Tutorial do Python

Meu prompt: “ Por favor, escreva um prompt para testar a velocidade do ChatGPT ao escrever um tutorial de código Python.”

Prompt gerado pelo ChatGPT : “Escreva um tutorial Python sobre como realizar a análise de sentimento em um determinado texto. O tutorial deve cobrir as seguintes etapas:

1. Introdução à análise de sentimentos e suas aplicações.
2. A importação de bibliotecas necessárias, como nltk, pandase numpy.
3. Carregando o conjunto de dados (você pode usar o conjunto de dados de revisão de filme do nltk corpus).
4. Pré-processar os dados de texto, incluindo letras minúsculas, remoção de pontuação, tokenização e lematização.
5. Convertendo os dados de texto pré-processados ​​em dados numéricos usando a abordagem bag-of-words ou TF-IDF
6. Dividindo o conjunto de dados em conjuntos de treinamento e teste.
7. Treinando um modelo de aprendizado de máquina (por exemplo, Naive Bayes, SVM, etc.) no conjunto de treinamento.
8. Avaliar o desempenho do modelo no conjunto de teste usando métricas como exatidão, precisão, recuperação e pontuação F1.
9. Prevendo o sentimento de um texto novo e não visto usando o modelo treinado.
10. Conclusão e trabalho futuro.

O que usei: para este, pude usar diretamente a saída do ChatGPT.

café como fazer

Meu prompt: “Por favor, escreva um prompt para um tutorial “Como fazer”.

Prompt gerado pelo ChatGPT : “Como fazer uma deliciosa xícara de café em casa usando uma prensa francesa”

O que eu usei : escreva um tutorial detalhado e completo para o seguinte prompt: “Como fazer uma deliciosa xícara de café em casa usando uma prensa francesa”

Coluna de conselhos

Meu Prompt: “ Escreva um prompt para solicitar ao ChatGPT o texto de uma coluna de conselhos, com a pergunta e a resposta.”

Prompt gerado pelo ChatGPT : “Tenho me sentido muito sobrecarregado e estressado ultimamente, quais são algumas dicas práticas para me ajudar a controlar meu estresse?”

O que eu usei : No estilo de “Querida Abby”, escreva uma resposta completa e altamente detalhada ao seguinte pedido de conselho: “Tenho me sentido muito sobrecarregado e estressado ultimamente, quais são algumas dicas práticas para me ajudar a controlar meu estresse ?”

Em seguida, solicitei ao ChatGPT e ao ChatGPT Plus esses prompts três vezes cada e registrei o tempo de conclusão.

No caso de um erro de rede, parei o tempo e reiniciei quando o ChatGPT reiniciou.

No caso de uma resposta longa, parei o tempo em que o ChatGPT parou, pedi “Por favor, continue” e reiniciei o tempo em que o ChatGPT continuou sua resposta.

Eu plotei os resultados com a biblioteca matplotlib.pyplot .

Resultados

Esta figura demonstra uma clara aceleração com ChatGPT Plus . Todas as respostas do ChatGPT Plus (verde) foram mais rápidas do que as respostas do ChatGPT (roxo).

Esta figura mostra que a aceleração média (a linha roxa tracejada) é 2,56, o que significa que o ChatGPT Plus é mais rápido que o ChatGPT por um fator de 2,56, em média .

Esta figura mostra que há muito menos variação no tempo de conclusão com o ChatGPT Plus . Com exceção do tutorial do Python, o intervalo de tempo de conclusão do ChatGPT Plus é inferior a cinco segundos. Para ChatGPT, o intervalo varia de 3,3 a 37,5 segundos.

É notável que o alcance com o ChatGPT Plus é muito maior para o Python Tutorial. Ainda assim, como pode ser visto na Figura 1, o tempo máximo para esse prompt com ChatGPT Plus (104,16 segundos) é significativamente menor do que o tempo mínimo com ChatGPT (194,93).

Erros de rede

Não houve erros de rede com o ChatGPT Plus. Com o ChatGPT, houve dois erros de rede com o tutorial do Python e um com o ensaio de IA. Ambos os erros de rede para o tutorial do Python ocorreram durante o mesmo teste, o que significa que dois dos 15 testes (13%) resultaram em um erro de rede com o ChatGPT.

Discussão

Os resultados demonstram claramente a vantagem do ChatGPT Plus sobre o ChatGPT. A aceleração média de 2,56 é significativa — para o tutorial do Python, isso significou uma economia média de quase 100 segundos. A diferença no intervalo de resultados também suporta o desempenho do ChatGPT Plus sendo mais previsível. O intervalo mais alto para o tutorial do Python merece uma inspeção mais detalhada. Este foi o único prompt envolvendo código. Outro teste de tempo com todos os prompts que requerem geração de código pode ser útil para resolver essa discrepância.

Ameaças à Validade

Este foi um teste muito pequeno (cinco prompts de apenas três testes cada). Um estudo maior fornecerá mais confiança nesses resultados. Além disso, os testes não foram simultâneos. É possível que o servidor tenha sido preferencialmente sobrecarregado durante os testes do ChatGPT.

Uma Palavra Final

Vou deixar o ChatGPT ter a palavra final aqui:

Eu : Fiz alguns testes de tempo e descobri que o ChatGPT Plus é mais rápido que o ChatGPT por um fator de 2,56, em média. O que você tem a dizer sobre isso?

ChatGPT : Como um modelo de linguagem AI desenvolvido pela OpenAI, não tenho a capacidade de me comparar a outros modelos. No entanto, é possível que o desempenho aprimorado observado seja devido a diferenças de hardware, arquitetura de rede ou outros fatores. Também é importante observar que o desempenho do modelo pode variar dependendo da tarefa específica e dos dados de entrada.

Eu : Obrigado por me trazer de volta à Terra, ChatGPT.

ChatGpt : De nada! Estou aqui para fornecer informações úteis e precisas da melhor maneira possível. Se você tiver mais perguntas, sinta-se à vontade para perguntar.

# A menos que especificamente designado como tal, o conteúdo deste artigo foi inteiramente escrito por mim.