Mesurer les effets de la méthode de collecte des données (2024)

1Les méthodes de collecte des enquêtes quantitatives sont de plus en plus diversifiées. Dans les années 1990, l’apparition des enquêtes téléphoniques a permis de limiter les coûts d’enquête par comparaison à ceux des entretiens en face-à-face (Riandey et Firdion, 1993). Ensuite, la généralisation des téléphones portables individuels et l’amélioration technique permettant de réaliser des entretiens longs a conduit à sélectionner directement des échantillons d’adultes à partir de numéros aléatoires de téléphones portables. Enfin, la diffusion d’Internet a rendu possible la réalisation d’enquêtes auprès d’échantillons « spontanés » de répondants volontaires ou d’échantillons représentatifs recrutés par téléphone, en éliminant les coûts de saisie. Ces évolutions posent la question de la représentativité des échantillons ainsi constitués, ainsi que celle de la sensibilité des réponses au mode d’interrogation. En analysant la version hollandaise d’une enquête internationale sur les comportements tabagiques, Mary Thompsonet ses collègues comparent les résultats issus des deux sous-échantillons, l’un enquêté sur internet, l’autre par téléphone. Ils distinguent les différences dues aux caractéristiques des répondants et celles imputables aux conditions de la collecte. Ils proposent une méthode pour produire une estimation des résultats que l’on aurait obtenus avec un seul mode de collecte, celui utilisé dans les autres pays.

2Les enquêtes sont de plus en plus souvent effectuées avec des méthodes de collecte mixtes du fait des difficultés croissantes pour obtenir des échantillons probabilistes (Blyth, 2008). Les enquêtes par téléphone sont idéales dans de nombreux cas, car le questionnaire y est administré par une personne formée pour obtenir les informations demandées et maintenir le répondant impliqué, et du fait que les frais de déplacement se trouvent éliminés (Roberts, 2007). Les méthodes de composition aléatoire des numéros d’appel (Groves et al., 1988) ont été mises au point pour surmonter le seul problème important dans les pays où l’équipement est généralisé: l’absence de nombreux numéros dans les annuaires. Les réseaux de téléphone fixe ont toutefois perdu de leur efficacité ces dernières années, en partie parce que le nombre des ménages exclusivement équipés de téléphones portables s’est nettement accru (Blumberg et al., 2006?; Blumberg et Luke, 2008), et plus encore à cause des techniques de contrôle d’accès telles que l’affichage du numéro appelant et le filtrage automatique (Roberts, 2007?; Tuckel et O’Neill, 2001).

3Une façon d’atténuer le problème consiste à compléter ces informations par des bases d’échantillonnage additionnelles ou d’autres modes de collecte, afin d’étendre la couverture de la population et d’améliorer les taux de réponse. La collecte auto-administrée sur internet est particulièrement intéressante puisqu’elle évite les coûts à la fois d’enquêteur et de saisie des données (Blyth, 2008?; Roberts, 2007), d’où un intérêt grandissant pour la mise au point de cadres d’enquêtes sur internet et de méthodes pour encourager des réponses dans des délais courts et de bonne qualité. À l’origine, les bases d’échantillonnage étaient principalement composées de listes d’adresses électroniques rassemblées dans d’autres buts. Aujourd’hui, de nombreuses sociétés d’enquêtes (par exemple le groupe international Harris Interactive ou la société néerlandaise TNS NIPO) développent des bases de données et des panels de personnes acceptant de répondre à des enquêtes sur internet contre rémunération. Le recrutement initial dans le panel est souvent réalisé par téléphone ou par courriel, et les bases de données ou les panels constituent des bases d’échantillonnage «riches» dans la mesure où elles peuvent inclure des données personnelles sur les répondants recueillies lors de leur recrutement. La combinaison de différents modes de collecte pose toutefois de nouveaux défis en matière de qualité des données et d’analyse (Frippiat et Marquis, 2010).

4La combinaison des résultats d’enquêtes par téléphone et sur internet –?qu’il s’agisse d’une seule ou de plusieurs enquêtes?– pose le problème des différences dans le traitement cognitif des questions par les répondants. La présence ou non d’un enquêteur affecte souvent les réponses aux questions sensibles, difficiles ou pouvant appeler des réponses socialement désirables. Quand les questions présentent un grand nombre de réponses possibles, les enquêtés font des choix plus précis lorsqu’ils visualisent une liste d’items que lorsqu’un enquêteur la leur lit. Ainsi, on constate fréquemment que les enquêtés par téléphone donnent davantage de réponses socialement désirables (Moskowitz, 2004?; Kreuter et al., 2008) et choisissent plus souvent les items qu’on leur a lus en dernier (Bishop et al., 1988). Leurs réponses se concentrent davantage aux extrêmes d’une échelle de Likert en 5points (Dillman et al., 2009). Ces types de phénomènes peuvent être dénommés «effets des modes d’administration» des questionnaires. Bowling (2005) a passé en revue ces effets sur la qualité des données.

5Il y a aussi des «effets de sélection», lorsque l’échantillon des répondants d’un mode de collecte ne peut pas être considéré comme un sous-échantillon aléatoire de l’échantillon d’ensemble sur les caractéristiques concernées. Dans certaines enquêtes recourant à un mode mixte de collecte, les répondants extraits d’une base d’échantillonnage unique sont soit affectés à un mode de collecte soit libres de le choisir (De Leeuw, 2005). Dans ce dernier cas, les sous-échantillons de deux modes de collecte peuvent différer sur des caractéristiques clés. L’autre cas courant de mixité est celui dans lequel les sous-échantillons appartiennent à des bases séparées se recouvrant partiellement. On peut s’attendre à ce que la couverture des bases et les biais de non-réponse diffèrent entre les deux modes de collecte (Nagelhout et al., 2010), et qu’il en résulte à nouveau des écarts dans la répartition des réponses dans les différents sous-échantillons.

6Dans les comparaisons simples des résultats de deux sous-échantillons, les effets d’administration et de sélection sont confondus. Par exemple, si les répondants d’un sous-échantillon internet sont plus nombreux à déclarer des comportements à risque, ce peut être un effet d’administration dans la mesure où de tels comportements sont plus faciles à admettre sur internet en l’absence d’enquêteur, mais un effet de sélection est également possible si les répartitions par âge des répondants sont différentes dans les deux sous-échantillons ou si ces répondants résident dans des régions différentes.

7Dans des comparaisons plus complexes, où l’on contrôle les variables associées aux effets de sélection, il est vraisemblable que les différences qui subsistent tiennent à des effets d’administration. On peut alors modéliser les effets d’administration quand les sous-échantillons par téléphone et internet sont combinés. Cet article montre comment une telle modélisation peut être réalisée avec des logiciels statistiques standards. L’objectif étant de prendre en compte les effets des modes de collecte dans l’analyse des données tirées d’enquêtes en mode mixte, il n’est pas nécessaire de modéliser séparément les diverses sources d’effets d’administration.

8La «propension» à répondre par un mode de collecte ou un autre est un concept utile pour quantifier les effets de sélection (Rosenbaum et Rubin, 1983). En théorie, c’est la probabilité de répondre, par exemple par téléphone, pour une personne faisant partie de l’échantillon combiné, en fonction des variables démographiques X et des autres caractéristiques W susceptibles d’affecter le mode de réponse. Dans certaines applications, la propension peut être interprétée comme la probabilité que le répondant choisisse de répondre par téléphone, lorsque ce choix est permis?; dans notre cas, c’est simplement la probabilité d’avoir répondu par téléphone, sachant que la personne a été contactée par une méthode ou une autre et a répondu. On peut montrer que pour une valeur spécifique de la propension strictement comprise entre 0 et 1, les fractions téléphone et internet de l’échantillon sont équilibrées en ce qui concerne la distribution de X, W. Nous ne pouvons pas connaître la vraie fonction de propension, mais nous pouvons l’estimer via un modèle de régression logistique, en régressant un indicateur de réponse par téléphone sur les covariables X, W. La formule du score de propension qui en résulte permet de quantifier les effets de sélection qui dépendent de ces variables [1].

9La comparaison des résultats des deux fractions d’échantillon nous permet en principe de distinguer les effets d’administration des effets de sélection (dus aux différences dans la couverture des sous-échantillons et dans les biais de non-réponse), si nous raisonnons à score de propension égal. Si nous comparons les répondants par téléphone et ceux sur internet ayant le même score de propension, les différences moyennes entre modes de collecte ne seront pas confondues avec les variables X et W, et elles seront plus vraisemblablement dues à des effets d’administration.

10Si on ne fait pas d’hypothèses sur le sens des effets de sélection et d’administration, Vannieuwenhuyze et al. (2010) ont montré que les deux effets sont confondus. C’est pourquoi ils recommandent de démêler les deux effets en comparant les données obtenues par une collecte mixte avec celles résultant d’une collecte par mode unique. Dans l’article, nous considérons que l’effet de sélection est aligné sur le score de propension et que l’effet d’administration est égal à l’effet du mode de collecte, une fois contrôlé le score de propension. Dans ces conditions, chacun des deux effets peut être estimé.

11Les réponses peuvent dépendre de covariables autres qu’à travers le score de propension (y compris éventuellement des covariables en X et W). Dans ce cas, si nous ajoutons au modèle des covariables transformées pour être orthogonales au score de propension, nous pourrons encore interpréter le coefficient du score de propension comme mesurant un effet de sélection. Quand on omet ces variables, comme dans les exemples développés à la sectionIII, on peut considérer que l’effet d’administration estimé est une estimation des différences entre les distributions de réponses, selon que les enquêtés ont répondu par téléphone ou sur internet, pour des populations ayant les mêmes distributions de X et W, telles que déterminées par les valeurs du score de propension.

12Dans les analyses de la sectionIV, nous utilisons le score de propension estimé non seulement pour mesurer les effets de sélection, mais aussi pour contrôler ces effets. Si l’ensemble des variables X et W peut rendre compte des effets de sélection et ne contient pas trop de variables, il est possible d’inclure directement X et W comme covariables dans l’analyse plutôt que le score de propension.

13La modélisation des réponses contenant des effets du mode de collecte pourra être abordée de différentes manières, en fonction du but recherché. Mais il semble raisonnable dans certains cas de choisir un des modes comme standard, l’effet de l’autre mode étant caractérisé en termes de paramètres du modèle. Pour un résultat particulier, la dépendance à l’égard du mode peut alors s’exprimer (i)comme une dépendance en X et W ou à l’égard du score de propension, en quantifiant les effets de sélection, et (ii)comme une transformation rattachant les schémas de réponses dans le mode de référence aux schémas de réponses dans l’autre mode, en quantifiant les effets d’administration. Dans l’illustration présentée ici, à partir des données de l’enquête International Tobacco Control aux Pays-Bas (enquête ITC Pays-Bas), nous avons arbitrairement choisi la collecte par téléphone comme référence. Nous n’avons pas l’intention de préconiser un mode de collecte plutôt qu’un autre, mais de montrer que les résultats des deux modes peuvent être combinés dans un schéma en mode mixte.

14L’article propose une façon de modéliser simultanément les effets d’administration et de sélection pour des réponses mesurées sur une échelle ordinale en cinq points, et une façon d’incorporer ces effets dans des analyses de résultats obtenus par une collecte mixte.

15Il y a plusieurs façons de modéliser ces effets d’administration et de sélection: (i)rechercher les effets d’administration et de sélection dans les schémas de réponses à des questions prises individuellement et estimer leur ampleur (comme on l’a montré dans cette section)?; (ii)rechercher les effets d’administration et de sélection communs à des groupes de questions?; (iii)utiliser les paramètres de l’effet d’administration et les réponses des répondants sur internet afin de «prédire» la distribution des réponses de ces mêmes individus s’ils avaient répondu par téléphone?; et (iv)prendre en compte les effets des modes de collecte quand les sous-échantillons téléphone et internet sont combinés pour l’analyse. Nous nous attachons ici au premier point et au dernier. Dans la sectionIII, nous exposons les résultats de nos estimations des effets d’administration et de sélection obtenues par modélisation de quelques questions de l’enquête ITC Pays-Bas. La sectionIV présentera un exemple d’analyse d’un échantillon combinant les modes de collecte.

16L’article est organisé comme suit. La section I présente les données utilisées dans le modèle. La sectionII décrit le modèle en détail. Dans la sectionIII, le modèle est appliqué à des questions de l’enquête ITC Pays-Bas. La sectionIV expose les résultats lorsque le modèle est intégré dans une comparaison internationale et la sectionV est consacrée à la discussion.

17Le projet International Tobacco Control Policy Evaluation (ITC, Projet international d’évaluation des politiques de lutte antitabac) réalise des enquêtes longitudinales, principalement auprès de fumeurs adultes dans 20pays, afin d’évaluer les mesures politiques mises en place suite à l’adoption de la convention -cadre de l’Organisation mondiale de la santé pour la lutte antitabac (CCLAT). Dans la plupart des pays, la collecte des données est effectuée soit par téléphone, soit en face-à-face. Mais des modes de collecte mixtes ont commencé à apparaître dans le projet ITC. Fong et al. (2006) et Thompson et al. (2006) ont décrit le modèle conceptuel du projet ITC et les méthodes utilisées dans les premières enquêtes.

18L’enquête ITC Pays-Bas s’adresse aux fumeurs adultes avec une surreprésentation des jeunes adultes?; elle diffère des autres enquêtes ITC (avant 2008) car la plupart des participants répondent à des questionnaires en mode CAWI (Computer-assisted web interviewing, enquête sur internet assistée par ordinateur). L’entreprise TNS NIPO, chargée du travail de terrain aux Pays-Bas, a constitué un access panel (base de sondage enrichie) de plus de 140000 personnes appartenant à la population générale pour répondre à des enquêtes sur internet. Le panel n’est pas aléatoire?; il a été recruté par téléphone ou par courrier, mais pas par internet. Il n’est pas possible de se porter spontanément candidat au panel, ce qui explique le nombre relativement faible de «répondants professionnels», qui participent à de nombreuses enquêtes par internet pour en tirer un revenu (Willems et al., 2006). L’échantillon des participants à l’enquête ITC Pays-Bas est constitué par tirage aléatoire stratifié au sein du panel. Les enquêtes en ligne sont devenues un mode d’enquête privilégié aux Pays-Bas, les enquêtes par téléphone n’étant généralement pas considérées comme rentables et l’accès à internet couvrant à peu près l’ensemble de la population (European Commission, 2008). Le fait que l’access panel n’est pas probabiliste représente une limite pour notre analyse, ce que nous essayons de compenser en partie en modélisant le processus de sélection.

19Lors de la première vague, réalisée entre le 13mars et le 25avril 2008, l’objectif était de recruter 1700 participants de 15ans ou plus en mode CAWI, et plus de 1800 ont répondu. Le taux de coopération (proportion de répondants effectifs, c’est-à-dire ayant fourni des réponses au questionnaire, parmi ceux qui ont été contactés et qui étaient éligibles) a été de 78,0%. Il a été ajouté un groupe d’environ 400répondants, âgés de 18ans, ou plus recrutés par RDD (random digit dialing, composition aléatoire du numéro téléphonique). Il s’agissait à la fois de mesurer les effets du mode de collecte et de faciliter les comparaisons avec les enquêtes ITC en Allemagne, en France et au Royaume-Uni, qui sont entièrement réalisées par téléphone. Le taux de coopération de la composante RDD a été de 78,1%. Le taux de réponse (nombre de répondants en proportion du nombre de numéros de téléphone composés susceptibles d’atteindre des personnes éligibles) n’a été que de 4,2%. Ce taux n’est pas inhabituel aux Pays-Bas, où les taux de réponse aux enquêtes téléphoniques ont baissé depuis les années 1990 (Bronner et Kuijlen, 2007). Il faut noter qu’un taux de réponse faible n’implique pas nécessairement des biais de non-réponse importants, en particulier dans les études économétriques. Nagelhout et al. (2010) ont comparé la composition démographique de l’échantillon CATI (Computer assisted telephone interviewing, enquête par téléphone assistée par ordinateur) avec celle de la population selon Statistiques Pays-Bas (CBS) et l’ont trouvée raisonnablement représentative.

20Les distributions des réponses pour de nombreuses questions diffèrent selon que le questionnaire a été administré en mode CATI ou en mode CAWI, ainsi que le montrent les tableaux annexes de cet article et certaines analyses approfondies de Nagelhout et al. (2008).

21Les questions de l’enquête ITC Pays-Bas que nous avons choisies d’analyser en sectionIII offrent cinq possibilités de réponse. Nous décrivons un modèle pour réponses ordonnées avec cinq options. Le modèle de base est le suivant, Y désignant la réponse codée:

22

23où d va de 1 à 4, et

24

25On notera que la probabilité de la réponse la plus élevée, 5, est le complément à 1 de la quatrième probabilité donnée ici.

26Pour comprendre ce modèle de régression logistique ordonnée[1], on peut se représenter une réponse continue sous-jacente imaginaire ? dont la plage des valeurs possibles est divisée en 5parties par les seuils de réponse ?₁??₂??₃??₄. Quand ? appartient à la d^e partie de la plage des valeurs, la réponse observée Y est égale à d. Par exemple, si ? est compris entre ?₃ et ?₄, alors Y est égal à 4?; si ? est supérieur à ?₄, alors Y est égal à 5. Le logit de la probabilité que Y ? d a une forme linéaire dans laquelle les variables explicatives fixes sont désignées par « mode » et Z, comme exprimé en[2]. Les paramètres de coordonnées à l’origine c₁ ? c₂ ? c₃ ? c₄ peuvent être vus comme des paramètres de position pour les seuils de réponse. Ceci signifie qu’un déplacement de c_d implique un déplacement correspondant de l’estimation du seuil ?_d. Dans ce modèle, les paramètres ? et ? sont les paramètres de l’effet d’administration du mode de collecte. Si la variable mode prend respectivement les valeurs 0 et 1 pour internet et le téléphone, ? représente la mesure dans laquelle le mode téléphone translate les seuils, et ? représente la mesure dans laquelle les seuils peuvent être écartés ou contractés par le mode téléphone. Si les réponses tendent à être plus extrêmes avec le téléphone (mode=1), on s’attend à ce que? soit négatif (?₁ étant accru, ainsi que la probabilité de la réponse1) et ?positif, avec 3? >|?| ou 3? + ? > 0 (?₄ étant réduit et la probabilité de la réponse 5 accrue). Si les entretiens par téléphone tendent à favoriser les dernières réponses énoncées, on s’attend à ce que ? soit non significatif ou positif et ? à nouveau positif, tous les ?_d étant réduits. La paramétrisation (?, ?) se veut une expression parcimonieuse des effets d’administration combinés.

27La variable Z est le logit de la propension estimée qu’un individu a de répondre par téléphone (mode1), en fonction des variables d’intérêt X (telles que le sexe, le groupe d’âges et le niveau d’instruction) et des variables additionnelles W?; l’estimation résulte d’une régression logistique séparée. Ainsi B₁, coefficient de Z dans le modèle de réponses ordonnées, représente le paramètre de l’effet de sélection. En fonction du contexte, d’autres variables explicatives de la réponse elle-même pourront être introduites, comme nous le ferons dans l’illustration de la sectionIV. Si elles ne sont pas orthogonales à Z, le coefficient de Z ne pourra plus être considéré comme une mesure de l’effet de sélection. Mais au sein du modèle, les paramètres ? et ? continueront d’être interprétés comme les paramètres de l’effet d’administration.

28La variable u est une variable latente ou un effet aléatoire, supposé être N(0,1), indépendamment pour chaque individu, et b₀ est un multiplicateur positif. Cette variable est incluse pour tenir compte de la variabilité individuelle, et pour permettre un ajustement du modèle par SAS PROC NLMIXED, où la présence d’un effet aléatoire est nécessaire pour qu’il y ait convergence.

29McCullagh et Nelder (1989) ainsi que Grilli et Pratesi (2004) sont des références utiles pour les modèles de réponses ordonnées tels que celui que nous proposons ici.

30Avant de modéliser les effets du mode de collecte dans les questions tirées de l’enquête ITC Pays-Bas, il faut d’abord modéliser la propension à répondre par téléphone, en utilisant SAS PROC LOGISTIC. Les répondants de moins de 18ans sur internet ont été exclus de cette analyse, puisque leur propension à répondre par téléphone serait nulle. Les variables X sont le sexe, l’âge et le niveau d’instruction, caractéristiques démographiques généralement utilisées dans les analyses du projet ITC. Les variables additionnelles W sont l’état matrimonial et quelques variables «d’attitudes individuelles» –?d’éventuelles variables «webographiques» dans la terminologie de Schonlau et al. (2007)?– pour lesquelles les distributions de réponse apparaissent en première analyse différer significativement en fonction du mode de collecte:

• la perspective temporelle: mesurée par la question «Vous passez beaucoup de temps à penser aux conséquences, sur votre vie dans le futur, de ce que vous faîtes aujourd’hui». Cinq réponses étaient possibles «Tout à fait d’accord», «Plutôt d’accord», «Ni d’accord ni pas d’accord», «Plutôt pas d’accord», «Pas du tout d’accord», codées de 1 à 5.
• le stress personnel #1: mesuré par «Au cours des 6derniers mois, avez-vous pensé que les difficultés s’accumulaient au point que vous ne pouviez pas y faire face??»
• le stress des événements mondiaux: mesuré par «Au cours des 6derniers mois, vous êtes-vous senti déstabilisé par des événements mondiaux??»
• le stress personnel #2: mesuré par «Au cours des 6derniers mois, avez-vous pensé que vous étiez incapable de maîtriser les choses importantes de votre vie??».

31En choisissant les variables à inclure dans la formule de propension, nous visons à élaborer un «prédicteur» de bonne qualité de la réponse par téléphone, plutôt qu’à expliquer celle-ci. Si la propension est bien décrite par son modèle, la neutralisation de la propension estimée dans le dernier terme du modèle peut rendre compte de l’effet d’échantillonnage ou de sélection du mode de collecte. On trouve de plus amples détails sur la modélisation du score de propension dans Rosenbaum et Rubin (1984) et Riou Franca et al. (2009).

32Le modèle de propension ajusté, qui a servi de base à l’estimation des scores de propension individuels, figure dans le tableau1.

33La propension à répondre par téléphone est nettement plus faible chez les plus jeunes, ce qui reflète en partie leur moindre utilisation des lignes fixes, mais surtout une surreprésentation délibérée dans l’échantillon internet. La propension à répondre par téléphone est plus élevée pour les personnes avec l’un des deux niveaux d’instruction les plus élevés. Une fois neutralisés les effets du sexe, du groupe d’âges et de l’instruction, la propension à répondre par téléphone est moins forte pour les répondants ayant un score élevé aux variables «manque de perspective temporelle» et «stress personnel», et elle est plus forte pour ceux ayant un score élevé à la variable «stress des événements mondiaux». Traduits en termes d’effet de sélection, les résultats suggèrent que, par rapport à l’échantillon téléphonique, l’échantillon internet surreprésente les jeunes (ce que fait effectivement le plan de sondage) et les répondants ayant des niveaux élevés de manque de perspective temporelle et de stress personnel. L’échantillon internet sous-représente les deux niveaux d’instruction élevés et les répondants dont les niveaux de stress des événements mondiaux sont élevés [2].

34Comme indiqué précédemment, les trois questions analysées extraites de l’enquête ITC Pays-Bas offrent cinq possibilités de réponse «Jamais», «Presque jamais», «Parfois», «Souvent» et «Très souvent», codées de 1 à 5. Les personnes ayant refusé de répondre ou ayant répondu «Je ne sais pas» ont été recodées en valeurs manquantes.

35Les distributions des réponses en annexe suggèrent que les répondants par téléphone ont tendance à privilégier les réponses extrêmes. Nagelhout et al. (2008) proposent une analyse plus approfondie.

36Les tableaux 2 à 4 présentent les estimations du modèle de réponses ordonnées ajusté pour quelques questions prises séparément. Les questions appartiennent à trois groupes d’items de Likert (questions offrant cinq catégories de réponses ordonnées), constitués d’après les thèmes et les libellés de réponse. Le regroupement de plusieurs questions permet de vérifier si les effets d’administration sont cohérents au sein d’un groupe. Les valeurs ?, ? et ?+3? sont pour la plupart cohérentes au sein des groupes et reflètent les schémas observés sur les tableaux des distributions de réponses. Le critère d’information d’Akaike (non présenté ici) –?mesure couramment utilisée de la qualité relative de l’ajustement?– est systématiquement amélioré par l’ajout de ? et ?. Le facteur d’échelle de l’effet aléatoire b₀ n’est en aucun cas significativement différent de0. Il existe un effet de propension pour de nombreuses questions.

37Dans un premier ensemble de questions, les répondants étaient interrogés sur des pensées qu’ils avaient eues au cours du mois précédent (tableau2).

38Les valeurs des paramètres de l’effet du mode d’administration ?, ? et ?+3? sont significatives, comparables pour l’ensemble des questions, et elles confirment que les répondants par téléphone privilégient les réponses extrêmes. La dépendance à l’égard de la propension à répondre par téléphone, exprimée par B₁, est statistiquement significative pour les trois premières questions, et toutes les estimations sont positives, ce qui suggère que ceux qui ont le plus tendance à répondre par téléphone tendent à choisir des réponses élevées (puisque les probabilités des réponses basses décroissent quand la propension augmente)?; B₁ n’est pas statistiquement significatif dans la dernière colonne. D’autres questions de l’enquête offrant les mêmes options de réponse ont également été analysées?; elles donnent lieu à des estimations semblables des paramètres ? et ?, mais moins fortement significatives?; ces résultats ne sont pas reproduits ici.

39Le tableau3 présente les résultats pour des questions où le répondant est interrogé sur son degré d’adhésion à certains énoncés.

40La première variable du tableau3 est atypique dans la mesure où ? est faiblement négatif et non significatif, alors que ? et ?+3? sont positifs et significatifs, ce qui reflète une tendance à choisir comme réponses les derniers items énoncés par téléphone. La combinaison, dans la question et les réponses, de deux fortes négations («désapprouve» et «pas d’accord») peut contribuer à expliquer cette originalité. Les deux autres variables présentent les mêmes résultats que dans le tableau2 (i.e., les répondants par téléphone choisissant des réponses extrêmes) à l’exception du fait que 3?+? n’est pas significatif pour la deuxième variable du tableau. Pour la première et la deuxième variables du tableau3, nous avons des valeurs significativement négatives de B₁. Comme celui-ci accroît les probabilités de choisir les réponses les plus basses (accord), il apparaît que les personnes ayant la plus forte propension à répondre par téléphone sont moins susceptibles de choisir les options les plus hautes (désaccord) en réponse à des énoncés affirmant la réprobation du tabagisme, et sont peut-être plus sensibles aux normes sociales. Les résultats obtenus pour ? et B₁ suggèrent qu’à la première question, et dans une certaine mesure à la deuxième, le biais d’échantillonnage et les effets d’administration jouent dans des directions contraires.

41Les valeurs de ? et ? pour la première variable du tableau 4 sont du même ordre de grandeur qu’au tableau2 et ? n’est pas significatif. Ceci s’accorde à nouveau avec le fait que les répondants par téléphone tendent à choisir des réponses extrêmes. Pour la deuxième variable, les personnes enquêtées par téléphone tendent à donner des réponses basses (un effet du mode d’administration) et celles qui sont les plus susceptibles (compte tenu de leurs caractéristiques) de répondre par téléphone tendent à choisir les réponses les plus élevées, sans que ce soit significatif. Il est intéressant de noter que ces effets antagonistes font apparaître des proportions très voisines pour l’option médiane [3] (33,95pour l’internet et 34,90 pour le téléphone)?; il révèle aussi un recours aux réponses extrêmes légèrement plus élevé pour les répondants par téléphone. Pour la troisième variable, les valeurs significativement positives de ? et ? + 3? montrent que les répondants par téléphone tendent à choisir l’option «extrêmement» plus fréquemment?; la dépendance à l’égard de la propension n’est pas significative.

42Au total, les effets d’administration sont significatifs et forts dans tous les groupes. Au sein des trois groupes de questions, ils sont plus proches quand non seulement les réponses proposées sont les mêmes, mais les questions elles-mêmes ont des énoncés de même nature. Certaines questions révèlent un effet de sélection en plus de l’effet d’administration. Nous avons présenté nos effets d’administration uniquement comme une tendance à privilégier les réponses aux deux extrémités des échelles?; nous n’avons pas évoqué la possibilité qu’ils incluent des effets de désirabilité sociale. Ces effets existent vraisemblablement, leur ampleur et leur direction dépendant de la nature des questions et des réponses proposées.

43Les réactions des fumeurs aux mises en garde affichées sur les paquets de cigarettes, introduites dans l’Union européenne en 2003, peuvent faire l’objet d’une intéressante analyse comparative dans les pays participant à l’enquête ITC. L’étude sur le sujet par Hitchman et al. (2012) suggère non seulement des différences d’un pays à l’autre, mais aussi des différences dans les profils de réponse entre les échantillons interrogés par téléphone et sur internet aux Pays-Bas. Les autres pays faisant l’objet de la comparaison sont l’Allemagne, la France et le Royaume-Uni, dans lesquels l’enquête a été administrée par téléphone.

44La variable «avertissem*nt», «Au cours du mois dernier, à quelle fréquence avez-vous remarqué les avertissem*nts sur les paquets de cigarettes??», propose cinq possibilités de réponse: «Jamais», «Rarement», «Parfois», «Souvent» «Très souvent». Nous appliquons le modèle de la sectionII en y ajoutant un terme «pays» et en n’y incluant le terme «propension» que pour les Pays-Bas. Le modèle devient donc:

45

46où d va de 1 à 4, et

47

48Dans ce modèle, nous avons à nouveau pris la variable mode de collecte égale à 1 pour le téléphone et 0 pour internet.

49Dans la formule [4], C désigne l’ensemble des indicateurs des pays, ? est le vecteur des paramètres correspondant à chaque pays, I_Pays-Bas est un indicateur pour les Pays-Bas et f(X) représente un résumé unidimensionnel des variables démographiques qui est un bon prédicteur des étiquettes de mise en garde (la réduction permet de satisfaire aux contraintes de PROC NLMIXED). Les variables démographiques combinées sont le sexe, l’âge, l’appartenance ethnique (pays de naissance pour la France), le niveau d’instruction, le nombre de cigarettes par jour et l’âge à la première cigarette. La variable Z est le logit de la propension pour l’internet aux Pays-Bas. On a utilisé pour ces analyses les pondérations des enquêtes transversales, ajustées proportionnellement à la taille des échantillons nationaux. Les tailles d’échantillon sont de 1?383 pour internet et 347 pour le téléphone aux Pays-Bas et de 1?559 en France, 1?361 en Allemagne et 1?412 au Royaume-Uni. Les résultats figurent dans le tableau5. L’Allemagne constitue la valeur de référence pour les pays.

50? est négatif et significatif, ? positif et significatif, ce qui s’accorde avec la tendance des répondants par téléphone à choisir des réponses extrêmes. B₁ est significatif et positif, ce qui suggère que la prégnance des messages d’avertissem*nt est d’autant plus forte, une fois neutralisé l’effet des covariables, que la propension à répondre par téléphone est élevée aux Pays-Bas. Le coefficient de l’effet aléatoire individuel est significatif dans cette analyse pondérée. Les effets des pays sont de même type que ceux analysés par Hitchman et al. (2011), qui notaient l’existence de deux groupes de pays. La prégnance des mises en garde est la plus forte, et à peu près la même, au Royaume-Uni et en France. Elle est significativement plus faible en Allemagne et aux Pays-Bas, l’écart entre les deux pays étant à peine significatif au seuil de 5%.

51En fait, dans cet exemple, la variable f(X) n’est pas tout à fait orthogonale à Z aux Pays-Bas, la corrélation entre les deux variables étant de 0,165. L’estimation de B₁ ne peut donc pas être interprétée comme un pur effet de sélection. Quand le modèle est ajusté sans terme f(X), les estimations ponctuelles des paramètres varient très peu, mais leur écart type s’accroît, l’estimation de B₁ est ramenée à 0,46 et sa p-value devient 0,054, la p-value pour Pays-Bas vs Allemagne perd en significativité à 0,157. L’analyse sans terme f(X) est donc conservatrice et l’inclusion de f(X) dans le modèle permet d’estimer les paramètres avec une plus grande précision.

52Si nous traitons les échantillons Pays-Bas par téléphone et Pays-Bas sur internet comme deux pays différents, le modèle ne contient donc pas de terme pour les effets d’administration ou de sélection du mode de collecte et il prend la forme:

53

54Les résultats du modèle [5] figurent dans le tableau6.

55L’Allemagne n’est pas significativement différente des Pays-Bas par téléphone, mais elle l’est des Pays-Bas sur internet. Le tableau5 exprime la même différence en termes de paramètres du mode de collecte, ce qui permet de combiner les données des deux échantillons pour représenter les effets du mode de collecte [4].

56La modélisation présentée dans cet article permet de décrire des effets d’administration des différents modes de collecte –?sur des questions offrant cinq options de réponses ordonnées?– en les distinguant des effets de sélection. Le modèle ne fait pas de distinction entre les différents types d’effets de sélection, tels que les biais de couverture et de non-réponse différentielles. Sans une collecte enrichie, il ne permet pas non plus de distinguer certains effets d’administration –?tels que la tendance à retenir l’item de réponse entendu en dernier?– et le biais de désirabilité sociale –?si l’item entendu en dernier est aussi celui ayant la plus grande désirabilité sociale. Pour des questions offrant cinq possibilités de réponses ordonnées, si on ne s’intéresse pas aux effets de sélection définis dans le modèle en tant que résultat, les effets d’administration peuvent néanmoins être modélisés comme nous l’avons fait ici, en utilisant comme variables de contrôle certaines de celles qu’on aurait employées dans un modèle de score de propension.

57Au prix d’hypothèses plus fortes, notre méthode a l’avantage, par rapport à celle utilisée par Vannieuwenhuyze et al. (2010), de ne pas nécessiter une base de données auxiliaire obtenue par un mode de collecte unique.

58Pour utiliser le score de propension comme un résumé des variables dont dépend le biais d’échantillonnage différentiel, il faut en théorie que la couverture des deux bases de sondage se chevauche largement. Il faudrait procéder différemment si, par exemple, les adultes étaient enquêtés par téléphone et les jeunes sur internet. Dans l’enquête ITC Pays-Bas, on peut considérer que les bases de sondage par téléphone et sur internet se recouvrent largement, même si ce n’est pas systématique: certaines fractions de la population n’ont pas de téléphone fixe, ou pas d’accès internet, et ne sont donc pas couvertes par une base de sondage ou l’autre.

59Dans l’application à des ensembles de questions de l’enquête ITC Pays-Bas, les effets d’administration apparaissent significatifs et forts dans tous les groupes de questions. Les effets d’administration sont particulièrement proches dans les groupes de questions où non seulement les possibilités de réponse sont identiques mais les questions sont elles-mêmes de nature semblable. L’effet d’administration le plus clair que nous ayons trouvé est le fait que les enquêtés par téléphone choisissent plus fréquemment des réponses extrêmes que les répondants sur internet. Ce résultat rejoint ceux de Bronner et Kuijlen (2007), Christian et al. (2005), Wichers et Zengerink (2006). Les enquêtés par téléphone sont sans doute davantage pressés par le temps et peuvent utiliser une échelle en cinq points comme si c’était une opposition oui/non. La tendance à choisir la réponse entendue en premier ou en dernier peut aussi contribuer à cet effet.

60Si on s’intéresse à d’autres effets d’administration, on peut envisager d’autres façons de paramétrer le modèle. Mais pour faire apparaître différents types d’effets d’administration, il faudrait pouvoir disposer de questions et de réponses spécialement conçues dans ce but, ce qui n’est pas le cas dans le questionnaire ITC Pays-Bas.

61Du fait de différences dans les processus cognitifs, on peut s’attendre à ce que les modèles estimés aient des caractéristiques différentes si les questions offrent quatre plutôt que cinq options de réponses (car il n’y a pas d’option médiane). Ce pourrait être le thème d’une prochaine recherche. On notera que si une question offre une option de réponse binaire, il n’y a qu’un point de seuil et on ne peut pas identifier à la fois ? et ??; ce qui conduira à élaborer un modèle plus simple avec des termes reflétant la propension et un indicateur de mode de collecte.

62Une des limites de notre modèle tient à ce qu’il n’inclut que des enquêtés ayant choisi l’une des cinq options de réponse. Nous ignorons ainsi un effet important du mode de collecte, le fait que les répondants sur internet utilisent l’option «Je ne sais pas» plus souvent que ceux interrogés par téléphone (Bronner et Kuijlen, 2007?; Roster et al., 2004?; Wichers et Zengerink, 2006). C’est parce que les répondants sur internet voient l’option «Je ne sais pas» sur leur écran d’ordinateur, alors que les enquêteurs au téléphone ne proposent pas cette réponse. Nagelhout et al. (2010) ont montré que c’était le cas dans l’enquête ITC Pays-Bas.

63La sectionIV donne un exemple d’analyse comparative internationale, qui suggère comment le modèle présenté ici peut être utilisé pour une analyse des données des enquêtes ITC ou d’autres programmes d’enquêtes internationales. Nous pourrions comparer de la même façon les distributions de réponses d’une vague à la suivante, en substituant au terme «pays» un terme «vague». On notera que la dépendance des réponses d’un individu d’une vague à une autre peut être saisie par le terme d’effet aléatoire b₀u. Il est également possible d’analyser et de comparer les changements des distributions de réponses au fil du temps entre plusieurs pays?; il faut alors inclure dans les modèles des termes «pays», «vague» et «vague par pays».

64En résumé, la modélisation proposée dans cet article fournit un cadre naturel et utile pour la prise en compte du mode de collecte dans les enquêtes où plusieurs modes sont possibles. C’est un sujet relativement nouveau. On a souvent étudié les effets des différents modes de collecte, mais on commence seulement à les intégrer dans des modèles.

65Remerciements
Nous remercions les lecteurs anonymes de Population pour leurs commentaires et suggestions, qui ont permis d’améliorer la qualité de notre texte.

66Voir site internet: http://www.itcproject.org.