Einleitung

Ich habe NaimAI entwickelt , um Doktoranden (und Wissenschaftlern im Allgemeinen) bei ihrer Literaturrecherche zu helfen. Ich habe die allerersten Versionen des Algorithmus in früheren Artikeln ( hier und hier ) detailliert beschrieben. In diesem Artikel möchte ich die Hauptfunktionen der aktuellen Version mit Ihnen teilen. Ich erkläre zuerst die Suchfunktion, die Überprüfungsfunktion und dann die Punkte, die ich mit der Open-Source-Community verbessern möchte (die nützlich erscheinen, aber aus Zeitgründen nicht selbst entwickelt werden konnten).

Übrigens ist NaimAI Open Source . :)

Suchfunktion

In dieser Version werden etwa 10 Millionen Open-Access-Abstracts verwendet. NaimAI strukturiert jedes Abstract automatisch in drei Abschnitte: Ziele, Methoden und Ergebnisse.

Um in NaimAI zu suchen , wählen Sie zunächst eines der 10 Felder aus und suchen dann mit Schlüsselwörtern. Einige Suchoperatoren können verwendet werden ( wie auf der Website erklärt ). Nach der Benutzersuche werden die Ergebnisse aus jedem Abstract extrahiert und in ihrer Kategorie (Ziele, Methoden oder Ergebnisse der Arbeit) angezeigt. Wenn Sie auf das strukturierte Abstract zugreifen möchten, können Sie auf das Kartenergebnis klicken.

Sie können auch in Ihren eigenen PDF-Artikeln suchen. In diesem Fall wird dieselbe Pipeline, die auf die 10 Millionen Papiere angewendet wurde, auf Ihre PDFs angewendet, wenn sie unter der Registerkarte „Benutzerdefiniert“ hochgeladen werden. Dann können Sie in Ihren kürzlich hochgeladenen Arbeiten suchen.

Überprüfungsfunktion

Nach den Suchergebnissen kann der Benutzer entweder alle Ergebnisse überprüfen (indem er auf Überprüfung erstellen klickt) oder nur einige gesuchte Arbeiten auswählen. Was hier passiert, ist, dass der objektive Satz des Papiers für jedes Papier in berichtete Sprache umformuliert wird (X et al. 2022 hat das gezeigt..). Außerdem wird die Literaturliste erstellt. Der gesamte Bewertungstext kann dann in das Word-Format exportiert werden.

Beachten Sie hier, dass Sie auch Ihre eigenen Arbeiten überprüfen können (auf der Registerkarte Benutzerdefiniert), sobald Sie Ihre PDF-Arbeiten hochgeladen haben.

Open-Source-Projekt

Ich habe NaimAI Open Source und die Modelle sind auf huggingface verfügbar . Auf diese Weise können wir alle die Algorithmen für die Wissenschaftlergemeinschaft verbessern, eine Art „Literaturrecherche von Wissenschaftlern für Wissenschaftler“!

Es gibt einige Colab-Beispiele, damit Sie Ihre eigenen Arbeiten bearbeiten, darin suchen und sie sogar mit NaimAI überprüfen können, wie in erläuterthttps://github.com/yassinekdi/naimai.

Viele Gegenstände müssen noch verbessert werden, also wäre es großartig, wenn wir diese Gegenstände gemeinsam verbessern könnten!

Elemente, die mit der Open-Source-Community verbessert werden können

Hier sind einige nützliche Elemente, die ich entwickeln möchte und bei denen die Community meiner Meinung nach helfen könnte:

Bewertungsgenerierung

Die eigentliche Methode besteht darin, nur den objektiven Satz jeder Arbeit neu zu formulieren. Ich habe eine Idee, weiter zu gehen und den Teil zur Generierung von Bewertungen zu verbessern. Bei Interesse einfach melden und wir machen das gemeinsam!

Neben dem generierten Text kann die Referenzgenerierung noch aufpoliert werden, um vielen Referenzstilen gerecht zu werden und auch in andere Formate (BibTeX..) zu exportieren.

Semantische Suche

Die Suche basiert hauptsächlich auf einem semantischen v0-Algorithmus (hauptsächlich unter Verwendung des TfIdf-Modells). In einer früheren Version habe ich das Bert-Modell für jedes Feld feinabgestimmt und die Ergebnisse waren ziemlich interessant. Das Problem ist, dass ich mit 10 Feldern am Ende 10 fein abgestimmte Modelle hatte. Die Nutzung war also ziemlich langsam und die Modelle waren schwer (nicht die beste Benutzererfahrung). Wenn Sie eine Idee haben und/oder zu diesem Teil beitragen möchten, freue ich mich, mit Ihnen zu sprechen!

Datenblätter

Ich habe ungefähr 10 Millionen Open-Access-Abstracts verwendet, die ich hier und da im Internet gefunden habe. Wenn Sie eine Quelle haben, die nützlich sein könnte, oder noch besser, wenn wir viel mehr Papiere zusammen verarbeiten können, um mehr Informationen für die Benutzer zu erhalten, wäre das cool!

Sonstiges

Wenn Sie auf andere Weise etwas beitragen möchten, freue ich mich, von Ihnen zu hören :)

In Kontakt bleiben :

Reddit , Twitter , Facebook .