Le document chunking est une pratique courante en intelligence artificielle qui prend de plus en plus d’importance avec la démocratisation des LLM et dutraitements de données textuelles via NLP en général. Son objectif est de permettre le découpage de vastes ensembles de documents en segments plus petits. Cette méthode ou technique facilite grandement l’analyse et le traitement des informations permettant aux algorithmes d’IA d’opérer de manière plus efficiente sur des portions de texte réduites. L’objectif est de réduire la surcharge d’informations et les problèmes de performance liés au traitement de documents entiers. De plus, cette segmentation permet de réduire la complexité des tâches d’analyse, en offrant une approche plus gérable pour les modèles d’IA.
Document chunking !Auteur/autrice : Benoit Cayla
Ingénieur en informatique avec plus de 20 ans d’expérience dans la gestion et l’utilisation de données, Benoit CAYLA a mis son expertise au profit de projets très variés tels que l’intégration, la gouvernance, l’analyse, l’IA, la mise en place de MDM ou de solution PIM pour le compte de diverses entreprises spécialisées dans la donnée (dont IBM, Informatica et Tableau). Ces riches expériences l’ont naturellement conduit à intervenir dans des projets de plus grande envergure autour de la gestion et de la valorisation des données, et ce principalement dans des secteurs d’activités tels que l’industrie, la grande distribution, l’assurance et la finance. Également, passionné d’IA (Machine Learning, NLP et Deep Learning), l’auteur a rejoint Blue Prism en 2019 et travaille aujourd’hui en tant qu’expert data/IA et processus. Son sens pédagogique ainsi que son expertise l’ont aussi amené à animer un blog en français (datacorner.fr) ayant pour but de montrer comment comprendre, analyser et utiliser ses données le plus simplement possible.
Utiliser (facebook) BART pour faire un résumé (4 méthodes !)
Dans cet article nous allons voir de 4 manière différente comment utiliser le LLM BART pour résumer un texte.
Utiliser (facebook) BART pour faire un résumé (4 méthodes !)Premiers pas vers un RAG en augmentant un LLM avec un fichier pdf (en 5 mins chrono)
Les LLMs ne sont entrainés qu’avec des données dites « génériques » ce qui ne répond pas toujours à nos attentes. Dans cet article nous allons voir comment influencer la réponse de notre LLM à partir de données provenant d’un simple fichier pdf.
Premiers pas vers un RAG en augmentant un LLM avec un fichier pdf (en 5 mins chrono)Faites vos premiers pas avec un LLM
Vous avez entendu parlé de LLM, vous aimeriez construire des applications autour de ces nouveaux usages. Mais comment ? Grâce à Hugging Face, LangChain et Python rien de plus simple … suivez le guide.
Faites vos premiers pas avec un LLM