L’AFIA (Association française pour l'intelligence artificielle), au travers de son collège Technologies du Langage Humain (TLH),  l'ARIA (Association de Recherche d’Information et Applications) et le GDR TAL (Groupement de Recherche - Traitement automatique des langues), avec le soutien du projet ANR-GUIDANCE, organisent la deuxième journée commune sur le thème de l’"Accès interactif à l’information" le 5 décembre 2024 à Paris (Jussieu).

L'objectif de cette journée est de réunir chercheurs-euses en Intelligence Artificielle, en Traitement Automatique des Langues et en Recherche d’Information travaillant sur les aspects interactifs de l’accès à l’information. Cette journée sera alors l’occasion de confronter les expériences de la recherche interactive dans différents domaines d’applications, tant du côté avancé de la recherche que du côté des applications industrielles.

La journée sera composée de deux présentations invitées, de sessions avec présentations courtes suivie de posters et démonstrations pour susciter les discussions, et se terminera par une table ronde.

Nous sollicitons des communications pouvant porter sur tous les thèmes de l'accès interactif à l'information, en particulier sur les thématiques autour des grands modèles de langage (LLMs), incluant, de façon non limitative :

• Agents conversationnels (ex : chatbots, incarnation/avatars, génération de dialogues, génération augmenté par la recherche d‘information) ;
• Annotation et construction de corpus de grand taille ;
• Apprentissage actif ;
• Apprentissage par renforcement ;
• Construction de ressources (en particulier Francophones ou multilingues) ;
• Evaluation de systèmes interactifs et de grands modèles de langage ;
• Explicabilité (ex: du choix des informations proposées par un chatbot, transparence des systèmes) ;
• Influence de la qualité des ressources, biais, équité/impartialité ;
• Interaction multimodale et/ou géolocalisé ;
• Interface et interaction humain-machine-robot ;
• Modélisation de l’utilisateur ;
• Personnalisation (persona et côté utilisateurs) ;
• Recherche d’information immersive ;
• Résumé automatique abstractif et/ou interactif ;
• Retour de pertinence (relevance feedback) ;
• Système questions / réponses extractives et génératives ;
• Vérification/véracité du contenu ;
• Recherche d’information générative (RAG) ;

Les propositions de communications orales sont attendues avant le *** 1 novembre 2024 *** sous la forme d'un résumé d’une à deux pages comprenant un titre, une liste d'auteur.e.s, une liste de mots-clés et un résumé du contenu de la présentation proposée en respectant la feuille de style (latex) ci-dessous :

https://www.overleaf.com/read/kfkfhffywfyj#b7b890

Également, les propositions de communications en format poster sont attendues avant le *** 14 novembre 2024 ***, sous la forme d'un résumé d’une page avec les mêmes éléments que pour les communications orales.

Toutes les soumissions devront être effectuées via scienceconf : https://jaii2024.sciencesconf.org/user/submissions 

 

Catherine Pelachaud

Titre : Communiquer avec un agent socialement interactif pour la recherche d’information

Résumé : Les agents socialement interactifs ont la capacité de communiquer expressivement avec leurs interlocuteurs humains. De par leur comportement multimodal, ils peuvent souligner une information importante, mettre en contraste des informations, mais aussi engager leur interlocuteur dans l’interaction. Nous avons développé une plateforme d’agent virtuel, Greta. Nous avons intégré différents mécanismes d'adaptation dans cette plateforme. Nous avons implémenté des phénomènes tels que l'imitation, l'intra- et l'inter-synchronisation, et les stratégies conversationnelles. Nous avons mené des études d'évaluation pour mesurer l'impact sur la perception de l'agent par les utilisateurs et sur la qualité de l'interaction.

Bio : Catherine Pelachaud est directrice de recherche au CNRS à l’ISIR (UMR7222) de Sorbonne Université. Ses activités de recherche de portent sur les agents conversationnels socio-émotionnels, l’informatique émotionnelle et l’interaction humain-agent. Depuis de nombreuses années et à travers des projets Européens et nationaux, elle et ses collaborateurs ont travaillé à développer la plateforme d’agent conversationnel Greta. Elle est et a été éditrice associée de plusieurs journaux dont IEEE Transactions on Affective Computing, ACM Transactions on Interactive Intelligent Systems, et International Journal of Human-Computer Studies. Elle a reçu le prix ACM – SIGAI Autonomous Agents Research Award en 2015, ICMI Sustained Accomplishment Award 2024 et a été honorée du titre de docteur Honoris Causa de l'Université de Genève en 2016.

Mohammad Aliannejadi

Title: LLMs and IR Evaluation: Towards Building Reusable Test Collections

Abstract: The IR community is moving fast towards leveraging LLMs in the evaluation pipeline: from LLM-assisted human annotation to fully LLM-based evaluation. Although LLMs provide countless opportunities in this area, there are various reasonable concerns about such a fast-paced transition of the field, mainly concerning their reliability as well as transferring their learned bias in the evaluation phase. In this talk, I will review the recent advances in LLM-based evaluation and discuss the potential risks and opportunities in this area. I will describe the observations we have had as part of the TREC Interactive Knowledge Assistance Track (iKAT), where we observe that LLMs can be used to fill missing judgments in the human-assessed relevance pool. Furthermore, I will give an overview of our findings in the LLMJudge challenge, where we organized a shared task on LLM-based relevance assessment and welcomed a diverse set of work by the community. Finally, I will discuss approaches to nugget-based generated text evaluation aimed at facilitating reusable evaluation of generated content.

Bio: Mohammad is an Assistant Professor at IRLab, University of Amsterdam. His research interests include conversational information access, evaluation, and recommender systems. He is an active member of the IR community, regularly publishing and serving as an (S)PC in top venues such as SIGIR, CIKM, WSDM, TheWebConf, ECIR, ACL, EMNLP, NAACL, and others. Mohammad has co-organized various evaluation campaigns, including TREC CAsT, TREC iKAT, LLMJudge, ConvAI3, XMRec, and IGLU, focusing on diverse aspects of user interaction with conversational agents and recommender systems.

An Evaluation Framework for Attributed Information Retrieval using Large Language Models (PDF)
Hanane Djeddal, Pierre Erbacher, Raouf Toukal, Laure Soulier, Karen Pinel-Sauvagnat, Sophia Katrenko, Lynda Tamine

Extraction de relations dans des textes complexes – Le cas des documents de procès de l’inquisition espagnole (PDF)
Diego Ortiz, Josiane Mothe, David Panzoli, David Kahn, Michel Boeglin, Hector Lopez Hidalgo

Pertinence et stabilité de l’Auto-Explicabitilité des LLMs comparée aux méthodes Lime et SHAP (PDF)
Alexandre Pascault

Clarification des ambiguïtés : sur le rôle des facteurs divers dans les systèmes de recherche de dialogue proactifs (PDF)
Anfu Tang, Laure Soulier, Vincent Guigue

Détection de déclaration à vérifier sur le climat en français (PDF)
Mathilde Veron, Iness Ajoup, Ludovic Trautmann

L'inscription est gratuite mais obligatoire, voici le lien pour s'inscrire :
https://jaii2024.sciencesconf.org/registration?lang=fr
Pour des raisons d'organisation, nous vous encourageons à vous inscrire rapidement; toutefois, les inscriptions resteront ouvertes jusqu'à la veille de l'événement.

Lieu : Salle de conférence 106 / Barre 44-45  du Campus Pierre et Marie Curie, 4 place Jussieu 75005 Paris
Accès : Métro jussieu, après l'entrée, à droite de la tour centrale (entrée par la tour 44).

•     Soumission des résumés : 01/11/2024
•     Soumission des résumés (posters) : 14/11/2024
•     Notification aux auteurs : 22/11/2024
•     Journée : 05/12/2024