SaaS GPT

Embora os modelos pré-treinados ofereçam funcionalidade pronta para uso para muitas tarefas de NLP (Natural Language Processing), eles vão apenas até esse ponto. Logo surge a necessidade de treinar com seus próprios dados (corpus customizado). As formas como são feitos os treinos personalizados, mudaram ao longo do tempo, você pode ver essa evolução, abaixo:

• Somente dados próprios : modelos baseados em frequência, como bag-of-words e tf-idf (frequência de termo inversa do documento) são normalmente treinados do zero, totalmente no corpus personalizado. Nenhum modelo pré-treinado como tal. Use-os como vetorizadores em qualquer tarefa de NLP, como classificação, por meio de aprendizado de máquina ou redes neurais de aprendizado profundo.
• Re-treinamento : modelo como word2vec vem em sabor pré-treinado do Google. Você pode usá-lo como um vetorizador em qualquer tarefa de NLP, conforme mencionado acima. Mas, a biblioteca Python Gensim, permite que você crie seu próprio modelo word2vec (e doc2vec) do zero também, totalmente baseado em seu próprio corpus. Isso fornece seus próprios vetores de palavras para serem usados ​​em qualquer tarefa de PNL, conforme mencionado acima.
• Ajuste fino : Modelos como BERT (Representação de codificador bidirecional de transformadores) vêm em versão pré-treinada para serem usados ​​como vetorizador e também como rede neural de base. Com base em tarefas NLP downstream, como classificação, é necessário adicionar a última camada a essa rede neural básica e, assim, obter seu próprio classificador que pode ser treinado no corpus personalizado.

Há um novo garoto no quarteirão agora, para os GPTs e BARDs do mundo e é:

• Prompt-tuning : Modelos como *GPT* (Transformadores pré-treinados generativos), que são LLMs (Large Language Models), são tão poderosos que não há necessidade de adulterar a rede neural para ajuste fino com seus próprios dados. Você só precisa dar alguns samples (shots) dentro do próprio prompt e ele começa a responder com base nos samples. É claro que também é possível fazer todos os métodos acima, mas essa nova forma de ajuste fino por meio de prompts tornou os LLMs acessíveis a todos.

LangChain é um deles.

O Google está trazendo uma oferta semelhante em nuvem integrada à Vertex AI.

Você já começou a ver usos imaginativos de tais GPTs personalizados, como o GitaGPT!!

Essas soluções vão dar origem a uma nova categoria, chamada 'SaaS GPT' (Software-as-a-Service baseado em GPT).

Mais por vir!!