Ces dernières années ont vu le grand succès de l'apprentissage auto-supervisé (SSL) dans les systèmes de recommandation. Cependant, les modèles de recommandation SSL sont susceptibles de souffrir de fausses corrélations, conduisant à une mauvaise généralisation. Pour atténuer les corrélations fallacieuses, les travaux existants poursuivent généralement la recommandation SSL basée sur l'ID ou utilisent l'ingénierie des fonctionnalités pour identifier les fonctionnalités parasites.

Néanmoins, les approches SSL basées sur l'ID sacrifient l'impact positif des caractéristiques invariantes, tandis que les méthodes d'ingénierie des caractéristiques nécessitent un étiquetage humain coûteux. Dans un article publié dans Recherche sur l'intelligence artificielle, une équipe de chercheurs vise à atténuer automatiquement l'effet des fausses corrélations pour résoudre les problèmes. Cet objectif nécessite de masquer automatiquement les fonctionnalités parasites sans supervision et de bloquer la transmission des effets négatifs des fonctionnalités parasites à d'autres fonctionnalités pendant SSL.

Les approches d'apprentissage auto-supervisé (SSL) sont récemment devenues à la pointe de la technologie (SOTA) pour la recommandation personnalisée. L'idée centrale de SSL dans la recommandation est d'apprendre de meilleures représentations d'utilisateurs et d'éléments via une tâche d'auto-discrimination supplémentaire, qui met en contraste les augmentations par rapport aux fonctionnalités utilisateur-élément ou aux graphiques d'interaction utilisateur-élément pour découvrir les relations de corrélation entre les fonctionnalités et les interactions.

Malgré le grand succès, les modèles de recommandation basés sur SSL sont vulnérables aux fausses corrélations en raison de l'ajustement des corrélations des caractéristiques d'entrée aux interactions. En raison du biais de sélection dans le processus de collecte de données, de fausses corrélations existent inévitablement dans les données de formation, où certaines caractéristiques fausses montrent de fortes corrélations avec les interactions positives des utilisateurs. Par la tâche d'auto-discrimination, les modèles SSL ont tendance à capturer ces fausses corrélations, ce qui entraîne une faible capacité de généralisation.

Pour atténuer l'effet néfaste des fausses corrélations sur les modèles SSL, les solutions existantes se répartissent principalement en trois catégories : premièrement, les méthodes SSL basées sur l'ID, qui n'utilisent que les identifiants des utilisateurs et des éléments pour le filtrage collaboratif, et peuvent ainsi éviter l'influence néfaste de certaines fausses corrélations. caractéristiques.

Cependant, les fonctionnalités utilisateur et élément sont toujours utiles dans la recommandation, en particulier pour les utilisateurs ayant peu d'interactions. Il est nécessaire de considérer certaines caractéristiques invariantes qui affectent causalement les interactions. Deuxièmement, les méthodes d'ingénierie des caractéristiques, qui sont capables d'identifier un ensemble de caractéristiques parasites manuellement ou en utilisant des approches hybrides homme-machine. Par la suite, ils peuvent former les modèles de recommandation SSL en supprimant les fonctionnalités identifiées.

Néanmoins, les méthodes d'ingénierie des fonctionnalités nécessitent un travail d'étiquetage humain approfondi et ne sont donc pas applicables aux recommandations à grande échelle avec des fonctionnalités étendues pour les utilisateurs et les éléments. Troisièmement, il y a les méthodes de sélection de caractéristiques informatives, qui sont capables de reconnaître automatiquement les caractéristiques croisées informatives et de supprimer celles qui sont redondantes dans le processus de formation. Néanmoins, les caractéristiques parasites peuvent être très informatives pour la prédiction de l'interaction dans les données d'apprentissage, et ainsi dégrader la capacité de généralisation.

Pour résoudre les problèmes, les chercheurs ont besoin que les modèles SSL atténuent automatiquement l'effet des corrélations parasites. Afin d'atteindre cet objectif, il existe deux défis essentiels : Le premier est qu'il n'est pas trivial de masquer des caractéristiques parasites sans supervision. L'autre défi est de bloquer la transmission de l'effet des caractéristiques parasites à d'autres caractéristiques est d'une importance vitale.

Pour relever les deux défis, les chercheurs envisagent d'apprendre un mécanisme de masque de caractéristiques à partir de plusieurs environnements pour estimer les probabilités de caractéristiques parasites, puis d'adopter le mécanisme de masque pour guider l'augmentation des caractéristiques dans les modèles SSL. Plus précisément, les chercheurs peuvent regrouper les interactions dans plusieurs environnements, où chaque environnement a des distributions de fonctionnalités similaires, mais les distributions se déplacent entre les environnements.

Les décalages de distribution guideront le mécanisme de masque pour capturer les caractéristiques invariantes dans les environnements et exclure les caractéristiques parasites. En outre, ils peuvent utiliser le mécanisme de masque pour supprimer les caractéristiques fausses en tant qu'échantillon augmenté, puis maximiser les informations mutuelles entre les caractéristiques invariantes de l'échantillon augmenté et toutes les caractéristiques d'entrée de l'échantillon factuel, poussant les modèles SSL à ignorer les caractéristiques fausses et couper la transmission de l'effet négatif des caractéristiques parasites aux caractéristiques invariantes.

À cette fin, les chercheurs proposent un cadre d'apprentissage de caractéristiques invariantes (IFL) pour les modèles de recommandation SSL afin d'atténuer les corrélations parasites. En particulier, IFL regroupe les interactions de formation dans plusieurs environnements et exploite un mécanisme de masquage avec des paramètres apprenables dans [0, 1] pour protéger les corrélations fallacieuses. Pour optimiser les paramètres de masque, IFL adopte une perte de variance pour identifier les caractéristiques invariantes et obtenir des prédictions robustes dans tous les environnements.

En ce qui concerne la tâche d'auto-discrimination, les chercheurs abandonnent les caractéristiques parasites basées sur les paramètres de masque en tant qu'échantillon augmenté, puis maximisent les informations mutuelles entre les échantillons factuels et augmentés via une perte contrastive, ce qui pousse le modèle SSL à ignorer les caractéristiques parasites. Ils instancient l'IFL sur un modèle SSL SOTA, et des expériences approfondies sur deux ensembles de données du monde réel valident l'efficacité de l'IFL proposé pour atténuer les corrélations parasites.

Les contributions de cet article sont résumées comme suit : premièrement, les chercheurs soulignent les fausses corrélations dans la recommandation SSL et envisagent d'apprendre des caractéristiques invariantes à partir d'environnements multiples.

Deuxièmement, ils proposent un cadre IFL indépendant du modèle, qui exploite un mécanisme de masque de caractéristiques et un apprentissage contrastif guidé par masque pour réduire les corrélations parasites pour les modèles SSL.

Troisièmement, les résultats empiriques sur deux ensembles de données publics vérifient la supériorité de leur IFL proposé pour masquer les caractéristiques parasites et améliorer la capacité de généralisation des modèles SSL.

Fourni par Beijing Zhongke Journal Publishing Co.