自然言語処理-構文分析
構文解析または構文解析または構文解析は、NLPの第3フェーズです。このフェーズの目的は、正確な意味を引き出すことです。または、テキストから辞書の意味を言うことができます。構文解析は、形式文法の規則と比較して、テキストの意味をチェックします。たとえば、「hot ice-cream」のような文は、セマンティックアナライザーによって拒否されます。
この意味で、構文解析または構文解析は、形式文法の規則に準拠した自然言語の記号の文字列を分析するプロセスとして定義できます。言葉の由来‘parsing’ ラテン語からです ‘pars’ つまり ‘part’。
パーサーの概念
これは、解析のタスクを実装するために使用されます。これは、入力データ（テキスト）を取得し、形式文法に従って正しい構文をチェックした後、入力の構造表現を提供するために設計されたソフトウェアコンポーネントとして定義できます。また、一般に解析ツリーまたは抽象構文ツリーまたはその他の階層構造の形式でデータ構造を構築します。
解析の主な役割は次のとおりです。
構文エラーを報告します。
プログラムの残りの処理を続行できるように、一般的に発生するエラーから回復するため。
解析ツリーを作成します。
シンボルテーブルを作成します。
中間表現（IR）を生成します。
構文解析の種類
導出は、構文解析を次の2つのタイプに分けます-
トップダウン構文解析
ボトムアップ構文解析
トップダウン構文解析
この種の解析では、パーサーは開始シンボルから解析ツリーの構築を開始し、次に開始シンボルを入力に変換しようとします。トップダウン構文解析の最も一般的な形式は、再帰的手順を使用して入力を処理します。再帰下降構文解析の主な欠点は、バックトラックです。
ボトムアップ構文解析
この種の構文解析では、パーサーは入力シンボルから開始し、開始シンボルまでパーサーツリーを構築しようとします。
派生の概念
入力文字列を取得するには、一連のプロダクションルールが必要です。派生は、一連の生産ルールです。解析中に、非終端記号を決定する必要があります。これは、非終端記号を置き換える生産ルールを決定するとともに、置き換える必要があります。
派生の種類
このセクションでは、2種類の派生について学習します。これらの派生は、どの非終端記号を生成規則に置き換えるかを決定するために使用できます。
左端の派生
左端の派生では、入力のセンテンス形式がスキャンされ、左から右に置き換えられます。この場合のセンテンスフォームは、左センテンスフォームと呼ばれます。
右端の派生
左端の派生では、入力のセンテンス形式がスキャンされ、右から左に置き換えられます。この場合のセンテンスフォームは、右センテンスフォームと呼ばれます。
解析ツリーの概念
これは、派生物のグラフィック描写として定義できます。派生の開始記号は、解析ツリーのルートとして機能します。すべての解析ツリーで、リーフノードは終端記号であり、内部ノードは非終端記号です。解析ツリーの特性は、順序どおりのトラバーサルが元の入力文字列を生成することです。
文法の概念
文法は、整形式のプログラムの構文構造を説明するために非常に重要で重要です。文学的意味では、それらは自然言語での会話の構文規則を示します。言語学は、英語、ヒンディー語などの自然言語の開始以来、文法を定義しようと試みてきました。
形式言語の理論は、主にプログラミング言語とデータ構造のコンピュータサイエンスの分野にも適用できます。たとえば、「C」言語では、正確な文法規則により、リストとステートメントから関数を作成する方法が示されます。
文法の数学的モデルはによって与えられました Noam Chomsky 1956年に、これはコンピュータ言語を書くのに効果的です。
数学的には、文法Gは正式には4タプル（N、T、S、P）として記述できます。
N または VN =非終端記号のセット、つまり変数。
T または ∑ =終端記号のセット。
S =S∈Nである開始記号
P非終端記号だけでなく、終端記号の生成規則を示します。これは、α→β、α及びβは、V上の文字列である場合フォーム有するN ∪Σ及び少なくともαの一つのシンボルがVに属するNを
句構造または構成要素の文法
ノーム・チョムスキーによって導入された句構造文法は、構成要素の関係に基づいています。そのため、構成文法とも呼ばれます。依存文法とは逆です。
例
構成文法の例を示す前に、構成文法と構成関係についての基本的なポイントを知る必要があります。
関連するすべてのフレームワークは、構成要素の関係の観点から文の構造を表示します。
構成要素の関係は、ラテン語とギリシャ語の文法の主語と述語の区分から導き出されます。
基本的な節の構造は、次の観点から理解されます。 noun phrase NP そして verb phrase VP。
文章を書くことができます “This tree is illustrating the constituency relation” 次のように-
依存文法
これは、構成要素の文法とは反対であり、従属関係に基づいています。ルシアン・テニエールによって紹介されました。依存文法（DG）は、句動詞ノードがないため、構成文法とは逆です。
例
依存文法の例を示す前に、依存文法と従属関係についての基本的なポイントを知る必要があります。
DGでは、言語単位、つまり単語は、有向リンクによって相互に接続されます。
動詞は節構造の中心になります。
他のすべての構文単位は、有向リンクの観点から動詞に接続されています。これらの構文単位はdependencies。
文章を書くことができます “This tree is illustrating the dependency relation” 次のように;
Constituency文法を使用する解析ツリーは、Constituencyベースの解析ツリーと呼ばれます。依存文法を使用する解析ツリーは、依存関係ベースの解析ツリーと呼ばれます。
文脈自由文法
CFGとも呼ばれる文脈自由文法は、言語を記述するための表記法であり、正規文法のスーパーセットです。次の図で見ることができます-
CFGの定義
CFGは、次の4つの要素を持つ文法規則の有限集合で構成されています-
非終端記号のセット
Vで示されます。非終端記号は、文字列のセットを表す構文変数であり、文法によって生成される言語の定義にさらに役立ちます。
ターミナルのセット
トークンとも呼ばれ、Σで定義されます。文字列は、端子の基本記号で形成されます。
プロダクションのセット
これはPで表されます。このセットは、終端記号と非終端記号を組み合わせる方法を定義します。すべてのプロダクション（P）は、非終端記号、矢印、および終端記号（終端記号のシーケンス）で構成されます。非終端記号はプロダクションの左側と呼ばれ、終端記号はプロダクションの右側と呼ばれます。
開始記号
生産はスタートシンボルから始まります。記号Sで示されます。非終端記号は常に開始記号として指定されます。