Le marché de la recherche est mûr pour les perturbations

Avec environ 10 zétaoctets de données non répliquées sur Internet aujourd'hui, les besoins en informations d'un individu ou même d'une organisation sont subatomiques par rapport à ce qui est disponible. Il est difficile de mettre à l'échelle les algorithmes de classement des pages indexées inversées et de les adapter pour répondre aux questions nuancées des utilisateurs sur un ensemble toujours plus large de modalités de données.

Dans de nombreux cas, les utilisateurs préféreraient 10 réponses précises et riches en quelques minutes au lieu de 10 millions de correspondances en millisecondes.

Une façon de convertir les informations en connaissances consiste à segmenter le contenu par domaines et/ou ensembles de questions spécifiques. L'indexation catégorielle rend le contenu multimodal consultable de manière sur mesure mais généralisée pour des domaines spécifiques.

Au lieu de battre le cheval mort des limitations actuelles des moteurs de recherche, je vais décrire ci-dessous une application simple qui utilise l'indexation catégorielle et faire une comparaison rapide comme l'éclair des résultats qu'elle produit avec les résultats de YouTube (Google).

Étapes pour créer un index catégoriel

1. Identifiez une communauté ou une sous-culture distincte. — Qui ?
2. Décrivez les informations synthétisées, ou les connaissances, dont la communauté ou la sous-culture a besoin. — Quoi ?
3. Identifiez les données sous-jacentes, organisez-les en informations et concevez un processus informatique qui les transforme en caractéristiques d'identification distinctes.
4. Encodez les résultats analytiques distincts dans un format personnalisé mais quelque peu standardisé qui est complémentaire au domaine spécifique.
5. Fournissez un accès aux connaissances synthétisées avec une interface d'opinion orientée vers le service de la communauté spécifique.

Dans cet exemple de type "Hello World", nous avons créé un index catégoriel qui exploite l'un des premiers livres imprimés en masse avec des index, la Bible. Cet exemple d'application reconnaît la langue vernaculaire des locuteurs chrétiens, ce qui est en quelque sorte une norme prévisible dans la majorité des confessions chrétiennes. Une fois que des types spécifiques de phrases déclencheurs ont été signalés, ces sections spécifiques de la vidéo sont ajoutées à un index consultable.

Passons en revue les étapes susmentionnées pour créer un index catégoriel pour ce cas d'utilisation. Vous pouvez suivre des étapes similaires avec vos propres communautés d'intérêts.

1. Qui? — Chrétiens qui lisent et étudient la Bible.
2. Quoi? - Commentaires et perspectives enregistrés précédemment par des enseignants de la Bible dans des communautés auxquelles les chrétiens se rapportent.
3. Les données de l'analyse ont été extraites de transcriptions de vidéos YouTube sur des chaînes où l'enseignement et la prédication chrétiens sont présents. Les chaînes sont dérivées de la liste Wikipédia des méga-églises aux États-Unis. L'application codifie des types spécifiques de phrases à partir de transcriptions vidéo sur cette chaîne qui ont une forte probabilité d'être des références bibliques.
4. Une fois identifiées, les phrases des locuteurs ont été associées à des versets spécifiques de la Bible. Par exemple, « Tournons-nous vers le troisième chapitre de l'Évangile de Jean, le seizième verset » a été mis en correspondance avec « Jean 3:16 ». C'est l'une des multiples phrases qui ont dû être identifiées et associées à une adresse de verset. Seules les phrases ont été indexées dans cet exemple , mais souvent une Écriture est référencée par une longue histoire ou le texte de l'Écriture est affiché à l'écran lorsqu'il est mentionné par l'orateur dans la vidéo. À l'avenir, ces occurrences pourraient être ajoutées à l'index catégoriel via un LLM et un OCR sur les images vidéo de manière respectable.
5. Déployez une interface qui ne prend que des versets bibliques pour rechercher et récupérer du contenu. Les listes déroulantes actuellement utilisées pourraient être remplacées par la boîte de recherche omniprésente avec une logique de correspondance de texte « floue ». Les recherches thématiques sont mappées sur des listes de versets bibliques connexes qui sont à leur tour rassemblés avec l'index catégoriel.

L'un des principaux avantages de cette sous-culture chrétienne est qu'il est relativement simple d'identifier les limites des données/informations car :

• Il existe un ensemble spécifique de chaînes distinctes sur YouTube avec un contenu principalement chrétien. Pour la plupart, chaque église a un canal et publie un contenu prévisible.
• Il y a une manière spécifique que la plupart des intervenants dans les vidéos chrétiennes, en particulier les sermons et les podcasts du dimanche, font référence aux Écritures.
• La Bible est une compilation de 66 livres standardisés qui sont référencés de la même manière depuis des centaines d'années.

Résultats comparatifs

Vous trouverez ci-dessous les résultats de la même recherche de "John 3:16" sur YouTube et Videos for Verses (v4v). v4v ne stocke aucun contenu vidéo mais renvoie des hyperliens au moment exact où un verset biblique est mentionné en utilisant essentiellement YouTube comme base de données.

Les résultats YouTube trouvent principalement des vidéos contenant le verset spécifié dans le titre et la description des métadonnées vidéo.

Les résultats de https://beta.v4v.watch sont plus précis et contrairement à YouTube, couvrent une langue vernaculaire biblique nuancée et fournissent des liens vers le moment de la vidéo où la mention s'est produite.

N'hésitez pas à comparer les résultats v4v avec les résultats de YouTube et de Google. L'index v4v pourrait certainement être étendu pour inclure d'autres modalités comme le texte court de Twitter et les images d'écritures YouVersion. Cela permettrait aux parties intéressées d'effectuer des recherches plus nuancées et précises sur un corpus plus large de types de contenu.

J'espère que ce concept d'indexation catégorielle vous a donné quelques idées sur la façon d'améliorer éventuellement vos applications ou d'en développer de nouvelles pour servir des communautés spécifiques. Je crois sincèrement que de nombreuses solutions perturbatrices peuvent être produites en mettant en œuvre les concepts décrits dans cet article. Quelle communauté allez-vous servir avec une application qui tire parti de l'indexation catégorielle ?