SaaS GPT

Хотя предварительно обученные модели предлагают готовые функциональные возможности для многих задач НЛП (обработка естественного языка), но они идут не так далеко. Вскоре возникает потребность в обучении на собственных данных (кастомный корпус). Способы индивидуального обучения менялись с течением времени, вы можете увидеть эту прогрессию ниже:

• Только собственные данные : основанные на частоте модели, такие как набор слов и tf-idf (термин частота, обратная частоте документа), обычно обучаются с нуля, полностью на специальном корпусе. Предобученных моделей как таковых нет. Используйте их в качестве векторизаторов в любых задачах NLP, таких как классификация, с помощью машинного обучения или нейронных сетей глубокого обучения.
• Повторное обучение : модель, подобная word2vec, поставляется в предварительно обученном варианте от Google. Вы можете использовать его как векторизатор в любых задачах НЛП, как было сказано выше. Но библиотека Python Gensim позволяет вам также создавать с нуля собственную модель word2vec (и doc2vec), полностью основанную на вашем собственном корпусе. Это дает вам ваши собственные векторы слов для использования в любых задачах НЛП, как упоминалось выше.
• Точная настройка : такие модели, как BERT (представление преобразователей с двунаправленным кодировщиком), поставляются в предварительно обученном варианте для использования в качестве векторизатора, а также в качестве базовой нейронной сети. Основываясь на последующих задачах NLP, таких как классификация, необходимо добавить последний слой в эту базовую нейронную сеть, и, таким образом, вы получите свой собственный классификатор, который можно обучить на пользовательском корпусе.

Теперь в блоке появился новый ребенок для GPT и BARD мира, и это:

• Быстрая настройка : такие модели, как *GPT* (Generative Pretrained Transformers), которые являются LLM (Large Language Models), настолько мощны, что нет необходимости вмешиваться в нейронную сеть для точной настройки ваших собственных данных. Вам просто нужно дать несколько образцов (выстрелов) в самой подсказке, и она начнет отвечать на основе образцов. Конечно, можно использовать все вышеперечисленные методы, но этот новый способ точной настройки с помощью подсказок сделал LLM доступными для всех и каждого.

LangChain является одним из них.

Google предлагает аналогичное предложение в облаке, интегрированное с Vertex AI.

Вы уже начали видеть творческое использование таких пользовательских GPT, как GitaGPT!!

Такие решения породят новую категорию под названием «SaaS GPT» (программное обеспечение как услуга на основе GPT).

Еще не все!!