2023 年はtxtaiにとって急速なスタートを切ります 2 月に入ると、2023 年のロードマップ (以下の記事を参照) にある多くの主要な取り組みが進行中であり、大きな進歩を遂げています。

NeuML — 2022 年を振り返る

これらの新機能の概要を次に示します。

LLM を使用したプロンプト主導の検索

ChatGPT のリリースにより、大規模言語モデル (LLM) の力により、AI の可能性について多くの人の目が開かれるようになりました。多くの場合、小規模から中規模のモデルの方が合理的ですが、LLM との統合は生成セマンティック検索への重要なステップです。言い換えれば、データと自然言語で会話することです。txtai の最初の 1.0 リリース以来、これがビジョンであり、メイン プロジェクトのデモ (上に表示) で実証されています。

txtai には、抽出的な質問応答のための抽出パイプラインが長い間ありました。このモデルはテキストのリストを取得し、類似性によってランク付けし、QA パイプラインを実行して回答を抽出します。

抽出パイプラインでは、LLM を使用したプロンプト駆動の検索のサポートを追加するのが自然です。次の変更が必要でした。

• 埋め込み検索を実行する機能。コンテンツがサポートされている場合、テキストは埋め込みインスタンスから取得できます。
• 抽出 QA に加えて、テキスト生成モデル、シーケンス間モデル、カスタム パイプラインをサポートします。

マイクロモデル

マイクロモデルは、リソースが少ない環境でも適切に動作するモデルを構築するための取り組みです。これをサポートするために、トレーナー パイプラインは次のトレーニング タスクをサポートするようになりました。

• マスクされた言語モデリング (MLM)
• 因果言語モデリング (CLM)
• 置き換えられたトークンの検出 (RTD)

トレーナー パイプラインは、RTD トレーニング用のモデルの組み合わせをサポートしており、興味深い可能性が生まれます。たとえば、アテンションのない FNet モデルと BERT モデルを一緒にトレーニングします。

私たちの最終的な目標は、組み込みデバイス上で実行できるほど小さなモデルを作成することです。マイクロコントローラー用の TensorFlow Liteをサポートするデバイス上で Transformers モデルを実行したいと考えています。これには、小さな PyTorch モデルをトレーニングし、それを ONNX にエクスポートしてから TFLite にエクスポートすることが含まれます。

これらの同じモデルには、5 ドルの小型クラウド サーバーなど、他の場所にもアプリケーションがあります。もちろん、外部 API を統合することもできますが、それが望ましくない、または不可能な場合もあります。

モデルはHugging Faceページで共有されますので、ご期待ください。

まとめ

この記事では、txtai に追加される主な新機能について説明しました。大規模モデルと小規模モデルの両方に有望な道筋があります。LLM を使用すると、セマンティック グラフなどの他の txtai コンポーネントとさらに統合することで、強力な新機能が実現します。小さいながらも効果的なモデルは、リソースが少ない環境でも多くのアプリケーションに使用できます。

2023 年は、NLP の世界において影響力のある年になりつつあります。年末までに、エキサイティングな時期がどのようになるかは誰にもわかりません。