Овладение жаргоном: основной список глоссариев AI/ML для каждого энтузиаста данных

May 07 2023

AGI AGI (Искусственный общий интеллект) — это теоретический термин, обозначающий искусственный интеллект, способный улавливать, приобретать и применять информацию в широком диапазоне действий, подобно когнитивным способностям человека. Разработка ОИИ станет важной вехой в исследованиях ИИ, поскольку современные модели ИИ превосходно справляются с узкими, специализированными задачами, но с трудом переносят информацию и обобщают в разных областях.

АГИ

AGI (Искусственный общий интеллект) — это теоретический термин, обозначающий искусственный интеллект, способный улавливать, приобретать и применять информацию в широком диапазоне действий, подобно когнитивным способностям человека. Разработка ОИИ станет важной вехой в исследованиях ИИ, поскольку современные модели ИИ превосходно справляются с узкими, специализированными задачами, но с трудом переносят информацию и обобщают в разных областях. Преследование AGI вызывает множество вопросов и опасений, включая потенциальные социальные последствия, опасения по поводу этики и гарантии равного доступа к преимуществам AGI.

Механизм внимания

Процессы механизма внимания в нейронных сетях моделируются по аналогии с функцией внимания человеческого мозга. Эти методы позволяют моделям сосредоточиться на различных частях входных данных в соответствии с их отношением к выполняемой работе. Механизмы внимания улучшают способность модели улавливать контекст и обрабатывать долгосрочные зависимости, оценивая релевантность различных входных данных по отношению друг к другу. Было доказано, что процессы внимания полезны в различных областях искусственного интеллекта, включая обработку естественного языка, компьютерное зрение и распознавание речи.

БЕРТ

BERT (представления двунаправленного кодировщика от трансформеров) — это модель на основе преобразователя, которая была предварительно обучена Google для задач понимания естественного языка. Его инновационный двунаправленный процесс обучения позволяет ему собирать контекстную информацию как с левой, так и с правой стороны токена, обеспечивая более полное понимание языка. BERT продемонстрировал непревзойденную производительность в широком спектре приложений обработки естественного языка, включая ответы на вопросы, анализ настроений и распознавание именованных сущностей. Его феноменальный успех привел к созданию нескольких моделей на основе BERT и доработанных версий, адаптированных к отдельным языкам и рабочим местам.

GPT

GPT (Generative Pre-trained Transformer) — это разработанное OpenAI семейство крупномасштабных языковых моделей на основе преобразователя, предназначенных для интерпретации естественного языка и создания приложений. Модели GPT были предварительно обучены на огромных объемах текстовых данных и могут быть настроены для конкретных задач, таких как завершение текста, резюмирование и перевод. Модели GPT, такие как GPT-3 и GPT-4, продемонстрировали отличные возможности для создания связного, контекстуально релевантного текста, что делает их подходящими для различных приложений ИИ, таких как чат-боты и виртуальные помощники.

График знаний

Граф знаний — это структурированное, упорядоченное представление информации, которое связывает элементы и их взаимодействия в виде графа. Использование графов знаний позволяет системам ИИ быстро хранить, сортировать и извлекать информацию, закладывая основу для широкого круга задач, таких как ответы на вопросы, системы рекомендаций и логические выводы. Сочетание графов знаний с моделями обработки естественного языка побудило исследователей ИИ разработать системы, способные обрабатывать сложные взаимосвязанные данные и давать правильные, контекстно-зависимые ответы.

магистр права

LLM (большие языковые модели) - это модели искусственного интеллекта, которые были тщательно обучены на огромных объемах текстовых данных для понимания и создания человеческой прозы. Эти модели могут приобретать сложные шаблоны, контекстуальные нюансы и знания из обучающих данных, что приводит к замечательной способности генерировать связный и контекстуально соответствующий контент. Например, серия OpenAI GPT продемонстрировала замечательную производительность в различных задачах обработки естественного языка, таких как завершение текста, суммирование и перевод.

РЛХФ

Методология RLHF (обучение с подкреплением на основе обратной связи с человеком) сочетает в себе обучение с подкреплением, подход машинного обучения, при котором агент учится принимать решения, взаимодействуя с окружающей средой, с обратной связью с человеком, чтобы привести действия агента в соответствие с человеческими ценностями и предпочтениями. Человеческая обратная связь используется в RLHF для предоставления сигнала вознаграждения, который направляет процесс обучения агента, улучшая его способность соответствовать ожиданиям человека. Этот подход нашел применение в самых разных областях, включая робототехнику, игры и персональные рекомендации.

внимание к себе

Самовнимание — это уникальный тип механизма внимания, используемый в моделях на основе трансформеров. Это улучшает способность модели связывать различные позиции в одной последовательности, вычисляя средневзвешенное значение всех позиций на основе их релевантности текущей позиции. Этот навык позволяет модели интегрировать как локальный, так и глобальный контексты, повышая ее способность интерпретировать и писать значимый контент. Самостоятельное внимание является важным компонентом современных моделей обработки естественных языков, таких как BERT и GPT.

Трансферное обучение

Трансферное обучение — это стратегия машинного обучения, которая использует ранее полученные знания из одного задания для повышения производительности в связанном. Трансферное обучение для больших языковых моделей, таких как GPT и BERT, требует предварительного обучения модели на обширном корпусе текстовых данных, чтобы получить полное знание языка, с последующим уточнением ее для конкретной задачи с меньшим набором аннотированных данных. Трансферное обучение сыграло важную роль в успехе передовых моделей обработки естественного языка, позволяя им достигать исключительной производительности даже с ограниченными данными для конкретной задачи.

Трансформер

Transformer — это фреймворк для глубокого обучения. Его цель — обрабатывать последовательные задачи, такие как машинный перевод и суммирование текста. Преобразователь отличается своим механизмом самоконтроля, который позволяет ему эффективно записывать обширные зависимости и взаимосвязи во входных данных. Эта структура стала основой для ряда передовых моделей обработки естественного языка, включая BERT, GPT и T5.