Comprendere la generalità del problema NER
Il riconoscimento di entità denominate (NER) è un problema ben noto nella letteratura della PNL.
Solitamente risolve il problema di individuare e classificare le entità con nome nel testo, ad esempio Organizationse Products.
Sto cercando di risolvere un problema simile ma, a mio avviso, un po 'più generale. Dato un testo di input, voglio essere in grado di annotare in modo completo l'intero testo; non solo entità specifiche come Actorse Organizationsma anche concetti di livello superiore come Conditions of Applicabilitye Temporal Conditions, ad esempio:
La difficoltà aggiunta è che abbiamo "entità" annidate, ad esempio (dall'alto):
<denotic> must, <temporal> within the specified period </temporal>, notify ... </deontic>
Può ancora essere formulato come un problema NER? In tal caso, quale sarebbe il miglior tipo di modello per risolvere questo compito assumendo un set di dati di ~ 50.000 esempi?
Risposte
Il problema descritto non è una versione più generale di Named Entity Recognition, è un problema diverso chiamato parsing . L'analisi consiste nell'estrarre la struttura sintattica di un testo, solitamente allo scopo di catturarne meglio la semantica. Esistono vari approcci:
- L'analisi superficiale identifica solo i componenti delle frasi (in base al tuo esempio potrebbe essere sufficiente nel tuo caso)
- L'analisi statistica e in particolare l' analisi delle dipendenze rappresentano l'intera struttura della frase, inclusi i collegamenti tra i suoi componenti.
Esistono varie librerie e set di dati per l'analisi: uno dei più famosi è probabilmente il parser di Stanford , ma ce ne sono molti altri spesso inclusi nei toolkit della PNL come OpenNLP . Il progetto Universal Dependencies è una vasta raccolta multilingue di testo annotato che può essere utilizzato per addestrare i parser.
Semantic Role Labelling (SRL) è un compito strettamente correlato che consiste nell'identificare le relazioni semantiche tra un predicato (verbo) e i suoi componenti correlati (es. Soggetto, oggetto).