2023년은 txtai 의 빠른 시작을 앞두고 있습니다 . 2월에 들어서면서 2023 로드맵(아래 기사 참조)의 여러 주요 이니셔티브가 진행 중이며 상당한 진전을 이루었습니다.

NeuML — 2022년 검토

다음은 이러한 새로운 기능에 대한 요약입니다.

LLM을 통한 신속한 검색

ChatGPT의 출시와 함께 대규모 언어 모델(LLM)의 힘은 AI의 가능성에 대해 많은 눈을 뜨게 했습니다. 많은 경우 중소형 모델이 더 적합하지만 LLM과의 통합은 Generative Semantic Search를 향한 중요한 단계입니다. 즉, 데이터와 자연어 대화를 나누는 것입니다. txtai의 초기 1.0 릴리스 이후로 이것은 비전이었으며 주요 프로젝트 데모(위에 표시됨)로 시연되었습니다.

txtai는 오랫동안 추출 질문 답변을 위한 추출기 파이프라인을 보유하고 있습니다. 이 모델은 텍스트 목록을 가져와 유사성에 따라 순위를 매긴 다음 QA 파이프라인을 실행하여 답변을 추출합니다.

추출기 파이프라인은 자연스럽게 LLM을 사용한 프롬프트 기반 검색에 대한 지원을 추가하는 데 적합했습니다. 다음과 같은 변경이 필요했습니다.

• 임베딩 검색을 실행하는 기능. 콘텐츠가 지원되면 임베딩 인스턴스에서 텍스트를 검색할 수 있습니다.
• 추출 qa 외에도 텍스트 생성 모델, 시퀀스 간 모델 및 사용자 지정 파이프라인을 지원합니다.

마이크로모델

마이크로모델은 리소스가 적은 환경에서 잘 실행되는 모델을 구축하기 위한 이니셔티브입니다. 이를 지원하기 위해 트레이너 파이프라인은 이제 다음 교육 작업을 지원합니다.

• 마스킹된 언어 모델링(MLM)
• 인과 언어 모델링(CLM)
• 대체 토큰 감지(RTD)

트레이너 파이프라인은 RTD 교육을 위한 모델 조합을 지원하므로 흥미로운 가능성이 있습니다. 예를 들어 어텐션이 없는 FNet 모델과 BERT 모델을 함께 교육합니다.

우리의 궁극적인 목표는 임베디드 장치에서 실행할 수 있을 만큼 작은 모델을 만드는 것입니다. TensorFlow Lite for microcontrollers를 지원하는 기기에서 Transformers 모델을 실행하고 싶습니다 . 여기에는 작은 PyTorch 모델을 교육하고 ONNX로 내보낸 다음 TFLite로 내보내는 작업이 포함됩니다.

이 동일한 모델에는 5달러짜리 작은 클라우드 서버와 같은 다른 곳에 애플리케이션이 있습니다. 물론 외부 API를 통합할 수도 있지만 바람직하지 않거나 불가능한 경우가 있습니다.

계속 지켜봐 주세요. 모델은 Hugging Face 페이지에서 공유됩니다 .

마무리

이 기사에서는 txtai의 새로운 주요 기능에 대해 설명했습니다. 크고 작은 모델 모두에서 유망한 경로가 있습니다. LLM을 사용하면 시맨틱 그래프와 같은 다른 txtai 구성 요소와의 추가 통합으로 강력한 새 기능이 제공됩니다. 작지만 효과적인 모델은 자원이 적은 환경에서 많은 응용 프로그램을 가지고 있습니다.

2023년은 NLP 세계에서 영향력 있는 해가 될 것입니다. 설레는 연말이 되면 어떤 모습일지 누가 알겠습니까!