Rapport technique sur la couverture, Recensement de la population, 2021
10. Évaluation des études sur la couverture

10.1 Étude sur le sous-dénombrement du recensement

10.1.1 Introduction

Les résultats de la plus vaste étude sur la couverture, soit l’Étude sur le sous-dénombrement du recensement (ESoR), peuvent être évalués en comparant ses estimations avec des données portant sur les mêmes caractéristiques, mais tirées d’autres sources, comme la base de données du Recensement de 2021 et des données administratives utilisées par le Programme des estimations démographiques (PED). Les comparaisons avec les estimations de l’ESoR servent à évaluer ces dernières et à quantifier les écarts en matière de concepts et de mesures.

Malgré quelques différences conceptuelles entre l’ESoR et le Recensement de 2021, les estimations du nombre de personnes dénombrées au Recensement de 2021 par l’ESoR peuvent être comparées aux chiffres du recensement. Afin de rendre ces chiffres comparables, certains ajustements ont d’abord été apportés aux chiffres du recensement.

Les estimations des composantes de l’accroissement démographique intercensitaire peuvent être comparées aux estimations provenant d’autres sources. Les estimations de l’ESoR en ce qui concerne le nombre de personnes décédées entre le Recensement de 2016 et celui de 2021 peuvent être comparées aux chiffres tirés des statistiques de l’état civil. Les chiffres du solde de migration interprovinciale calculés par le PED à partir des données provenant de l’ARC peuvent être comparés aux estimations de l’ESoR. Finalement, les estimations des composantes de l’accroissement demographique de l’ESoR peuvent être comparées aux estimations similaires des données administratives.

10.1.2 Comparaisons avec les chiffres du recensement

Puisque le plan d’échantillonnage stratifié à un seul degré de l’ESoR produit des estimations sans biais, les différences entre les estimations de l’ESoR et les chiffres du recensement sont principalement attribuables à une erreur d’échantillonnage dans les estimations de l’ESoR, aux écarts conceptuels entre les deux sources ou à des biais systématiques influençant les deux sources, ce qui entraîne une sous-estimation ou une surestimation des caractéristiques étudiées.

Personnes dénombrées

Les comparaisons établies pour les provinces et l’ensemble du pays sont présentées au tableau 10.1.2.1, de même que l’erreur‑type de l’estimation de l’ESoR et la valeur t servant à tester l’hypothèse selon laquelle il n’existe aucun écart entre l’estimation de l’ESoR et les chiffres comparables du recensement. Les ajustements suivants sont apportés aux chiffres du recensement publiés, afin de tenir compte des différences conceptuelles entre les deux sources.

• Les ajustements apportés à partir de l’imputation des ménages complets ont été exclus, car, même s’ils ont été inclus dans les chiffres du recensement, ils ne faisaient pas partie de l’estimation de l’ESoR du nombre de personnes dénombrées.
• L’estimation du surdénombrement du Recensement de 2021 a été soustraite, car la base de données du recensement contenait des personnes surdénombrées, alors que l’estimation de l’ESoR était établie d’après le nombre de personnes uniques ayant été dénombrées (et non d’après le nombre de dénombrements).
• L’estimation obtenue du nombre de personnes résidant hors du Canada cinq ans auparavant (à l’exclusion des immigrants intercensitaires et des résidents non permanents) à partir du questionnaire détaillé du Recensement de 2021 a également été soustraite, car les estimations de l’ESoR n’incluaient pas la majorité de ces personnes. Pour les mêmes raisons, on a également soustrait l’estimation du nombre d’enfants de 0 à 4 ans nés hors du Canada, mais ayant la citoyenneté canadienne.
• De même, pour les provinces, on a soustrait l’estimation du nombre de personnes résidant dans un territoire cinq ans auparavant, car elles n’étaient pas couvertes par les bases de sondage provinciales de l’ESoR.
• Le nombre de personnes provenant des réserves (participantes au Recensement de 2021, mais non participantes au Recensement de 2016) a également été soustrait, car les estimations de l’ESoR n’incluaient pas la majorité de ces personnes.

À l’échelle nationale, l’estimation de l’ESoR du nombre de personnes dénombrées au Recensement de 2021 était inférieure au chiffre comparable du recensement (-0,62 %). Pour les recensements de 1996 à 2016, l’écart au niveau national entre l’estimation de l’ESoR et les chiffres comparables du recensement se situait entre -0,09 % et 0,12 %. C’est la première fois depuis que cette comparaison est effectuée que la différence est statistiquement significative à l’échelle nationale. À l’échelle provinciale, l’estimation de l’ESoR est inférieure au chiffre comparable du recensement pour toutes les provinces à l’exception de la Saskatchewan; cet écart est statistiquement significatif pour cinq provinces : l’Île-du-Prince-Édouard, le Québec, l’Ontario, le Manitoba et l’Alberta.

Lors des cycles précédents, des différences significatives ont également été observées. Ces écarts ont fait l’objet d’une vérification plus approfondie pour confirmer que la classification de l’ESoR ne comportait pas de biais (y compris la province de résidence le jour du recensement, par exemple). D’autres facteurs pourraient également jouer un rôle important dans les écarts observés. Outre l’erreur d’échantillonnage, des biais dans les ajustements (p. ex. Canadiens de retour) apportés aux chiffres du recensement publiés, afin d’obtenir des chiffres comparables du point de vue conceptuel, pourraient expliquer ces écarts. Le biais de non-réponse de l’ESoR pourrait aussi entrer en ligne de compte, car l’ajustement en fonction de la non-réponse a été choisi afin d’obtenir le meilleur résultat possible pour estimer les personnes omises et non les personnes dénombrées. Toutes les étapes de l’ESoR ont été régulièrement vérifiées et soumises à des contrôles de la qualité.

Du fait des écarts plus significatifs qu’habituellement, une enquête approfondie a été réalisée. Dans les recensements antérieurs, il y a toujours eu des personnes dénombrées dans le recensement qui n’étaient pas couvertes par les bases de sondage de l’ESoR, soit du fait des limites de ces bases de sondage soit qu’elles ne faisaient pas partie de la population cible du recensement. Outre les Canadiens de retour susmentionnés, la première catégorie comprend également les personnes à charge (enfants et conjoints) de résidents non permanents. La deuxième catégorie comprend les personnes décédées avant le jour du recensement, les naissances postcensitaires, les visiteurs étrangers, les immigrants arrivés au Canada après le jour du recensement, ainsi que les résidents non permanents et leurs personnes à charge arrivés après le jour du recensement ou ne possédant pas de permis valide. Pour les cycles antérieurs, le nombre de ces personnes était jugé suffisamment limité pour ne pas avoir d’incidence significative sur la comparaison entre l’estimation des personnes dénombrées de l’ESoR et le chiffre comparable du recensement. Du fait de l’importante hausse du nombre de résidents non permanents ces récentes années, il semble que cela ne soit plus le cas. Une grande partie de l’écart entre ces deux chiffres peut s’expliquer par le dénombrement des personnes à charge de résidents non permanents ou d’enregistrements hors du champ du recensement.

Une analyse des écarts par groupe d’âge a indiqué que les écarts négatifs étaient concentrés parmi les enfants (âgés de 0 à 14 ans; les écarts pour les groupes d’âge de 0 à 4 ans et de 5 à 9 ans étant statistiquement significatifs) et les jeunes âgés de 25 à 29 ans. Les écarts sont minimaux, ou au moins non significatifs, pour les autres groupes. Cela reflète le fait qu’une partie significative des personnes dénombrées non couvertes par les bases de sondage de l’ESoR serait les enfants ou conjoints de résidents non permanents ayant un permis.

Aucun travail d’enquête n’a soulevé d’inquiétude sur les étapes de classification, de pondération, ni d’estimation de l’ESoR.

10.1.3 Comparaison avec les estimations démographiques

Personnes décédées

Le tableau 10.1.3.1a permet de comparer l’estimation du nombre de personnes décédées pendant la période intercensitaire (entre le 10 mai 2016 et le 10 mai 2021) selon la province de classification de l’ESoR aux chiffres tirés des dossiers des statistiques de l’état civil. L’estimation de l’ESoR exclut les personnes décédées hors Canada lorsque le pays de décès est connu. À l’échelle nationale, l’estimation de l’ESoR dépasse de 6 492 personnes (0,5 %) les chiffres des statistiques de l’état civil; cette différence n’était pas statistiquement significative. À l’échelle provinciale, l’écart en pourcentage le plus important a été enregistré pour l’Île-du-Prince-Édouard (648 ou 9,7 %) et le Québec (12 731 ou 3,7 %); seul le premier était statistiquement significatif (valeur de t de 2,28). Dans les autres provinces, les différences relatives se situaient entre -1,7 % et 2,1 %. Elles n’étaient pas statistiquement significatives et la plupart de ces écarts étaient inférieurs à ceux observés en 2016.

Certaines raisons peuvent expliquer un écart significatif. Tout d’abord, l’estimation de l’ESoR peut inclure certains décès survenant à l’étranger; ce que n’incluent pas les statistiques de l’état civil. Dans l’ESoR, si le pays de décès est connu et qu’il se trouve à l’étranger, le décès ne fait pas partie de la comparaison des personnes décédées du tableau 10.1.3.1a. Cependant, si la personne n’a pas été trouvée dans les dossiers des statistiques de l’état civil et que le pays de décès est inconnu, le décès sera alors classé par défaut dans la plus récente province de résidence de la personne au Canada. Seules 12 personnes choisies présentaient cette situation; aucune ne concernait l’Île-du-Prince-Édouard. Par conséquent, il ne s’agit pas de la principale raison de cet écart significatif pour cette province. Une autre raison pouvant expliquer l’écart est de ne pas pouvoir trouver la personne dans les statistiques de l’état civil du fait de différences dans les renseignements personnels. La dernière raison est une sous-déclaration dans les statistiques de l’état civil. Le décès de 34 personnes choisies a été confirmé comme ayant eu lieu au Canada sans figurer dans les statistiques de l’état civil; parmi ces cas, 10 concernaient l’Île-du-Prince-Édouard. Le tableau 10.1.3.1b permet de comparer l’estimation de l’ESoR du nombre de personnes décédées pendant la période intercensitaire (entre le 10 mai 2016 et le 10 mai 2021), selon la province de décès indiquée dans les dossiers des statistiques de l’état civil (donc seulement pour les personnes trouvées dans ces dossiers), aux chiffres tirés des statistiques de l’état civil. L’écart pour l’Île-du-Prince-Édouard qui était significatif ne l’était plus, avec une valeur t de 0,45. Pourtant, l’écart devient significatif en Ontario (-19 386, avec une valeur t de -2,47). Même si ces derniers résultats ne semblent pas démontrer d’enjeux liés aux estimations de l’ESoR du nombre de personnes décédées, des mesures de vérification plus approfondies ont été effectuées, afin de confirmer qu’aucune erreur de classification ou d’autre nature n’était en cause dans les opérations ou dans les estimations. Aucun problème à cet effet n’a été détecté.

Migration interprovinciale

Le tableau 10.1.3.2 compare les estimations de l’ESoR du solde de migration interprovinciale intercensitaire avec les chiffres correspondants calculés par le PED selon des fichiers de l’Agence du revenu du Canada. En général, les données sur les migrants interprovinciaux ne sont pas comparables, car l’ESoR ne prend en compte que les migrations survenues entre la date de référence de la base de sondage (p. ex. le 10 mai 2016 pour la base du recensement) et le jour du Recensement de 2021, alors que les estimations du PED prennent en compte les migrations annuelles. Pour cette raison, seules les estimations du solde de migration interprovinciale sont présentées.

Même si ces estimations diffèrent, les estimations démographiques et de l’ESoR du solde de migration interprovinciale sont de même direction (solde migratoire positif ou négatif) pour chaque province. L’écart entre les estimations démographiques et de l’ESoR est inférieur à celui de 2016 pour 6 des 10 provinces et sensiblement identique pour une autre; toutefois, les erreurs‑types des estimations de l’ESoR sont également bien inférieures qu’elles ne l’étaient en 2016. Par conséquent, deux provinces enregistrent un écart statistiquement significatif entre les estimations démographiques et de l’ESoR du solde migratoire : l’Ontario (valeur t de 3,27) et le Manitoba (-2,27). Un écart significatif avait été observé pour une province en 2016.

10.2 Étude sur le surdénombrement du recensement

La validation des résultats des deux études sur la couverture reposait sur la Directive sur la validation des produits statistiques de Statistique Canada. Parmi diverses étapes de validation, il a été possible d’évaluer les résultats de l’Étude sur le surdénombrement du recensement (ESuR) de 2021 en évaluant la façon dont chacune des composantes menant à la construction de sa base de sondage contribuait à l’estimation globale du surdénombrement du recensement. Il a également été possible d’examiner les raisons possibles pour lesquelles des personnes ont été dénombrées plusieurs fois dans le recensement. Reportez-vous à la section 8.7 pour obtenir de plus amples détails.

Au cours du processus de validation, une autre mesure a été de comparer la base de sondage et les estimations de l’ESuR avec d’autres sources disponibles, pour analyser ce qui pouvait manquer dans la base de sondage de l’ESuR et relever tout problème systémique, le cas échéant. Une telle source est l’Environnement de couplage de données sociales (ECDS). L’équipe de l’ECDS de Statistique Canada est chargée de tous les couplages du recensement utilisés pour dériver des renseignements de sources de données administratives (p. ex. afin d’obtenir des renseignements sur le revenu). Comme première étape de ces couplages, l’équipe de l’ECDS effectue un couplage probabiliste interne de la Base de données des réponses du recensement (BDR) entière avec elle-même pour relever des doublons potentiels de personnes. Des différences importantes existent entre l’objectif du couplage interne des enregistrements de la BDR effectué par l’ECDS et celui de l’ESuR. L’objectif de l’ECDS est de relever les enregistrements en double avec certitude et une approche conservatrice est donc employée dans la détermination des doublons. L’objectif de l’ESuR est de construire une base de sondage de toutes les paires de doublons possibles du couplage interne de la BDR.

La liste de l’ECDS des doublons de personnes a été comparée à la base de sondage de l’ESuR; tous les doublons de l’ECDS se trouvaient dans la base de sondage de l’ESuR de 2021. De plus, une comparaison des estimations de l’ESuR et des doublons potentiels de personnes tirés de l’ECDS a été effectuée, afin d’étudier les tendances entre 2016 et 2021. Même si les résultats de l’ESuR sont une estimation du surdénombrement et qu’ils comprennent l’erreur d’échantillonnage, alors que les résultats de l’ECDS sont des dénombrements et devraient représenter un sous-ensemble de l’estimation de l’ESuR de par leur nature, comparer la variation en pourcentage entre 2016 et 2021 pour les deux sources était tout de même un exercice utile. Les deux sources ont présenté des résultats cohérents : une hausse du surdénombrement entre 2016 et 2021 et une tendance similaire observée pour l’ensemble des provinces et des territoires.

Une autre évaluation a été effectuée en examinant la corrélation entre l’état de surdénombrement d’une paire d’enregistrements de la BDR potentiellement en double et le poids de couplage dérivé de cette paire, pour les paires relevées par le couplage probabiliste de la BDR avec elle-même (reportez-vous à la section 8.2.3 pour obtenir de plus amples détails sur cette étape du couplage probabiliste). Dans le cadre d’un couplage probabiliste, un poids de couplage est calculé pour chaque paire d’enregistrements couplés, en fonction de la robustesse de ce lien. Comme le décrit la section 8, dans l’ESuR, un échantillon des paires relevées comme doublons potentiels par le couplage probabiliste de la BDR à elle-même a fait l’objet d’un processus de vérification manuelle, selon lequel les codeurs devaient déterminer si chaque paire était un véritable doublon (surdénombrement vérifié) ou non. On a comparé la répartition des poids de couplage pour les cas de surdénombrement et de non-surdénombrement. Si le couplage s’est déroulé comme prévu, il devrait exister une différence entre les poids des deux groupes. Comme prévu, les poids de couplage étaient bien supérieurs en moyenne pour les cas de surdénombrement; cela s’observait pour chaque province et territoire.

De plus, les cas supplémentaires de surdénombrement relevés au cours des opérations de vérification manuelle, mais ne faisant pas partie de la base de sondage finale de l’ESuR, ont été évalués pour comprendre pourquoi ils n’étaient pas capturés. Il ne semble pas exister de raison systémique expliquant pourquoi les paires supplémentaires du surdénombrement ne figuraient pas dans la base de l’ESuR. En général, ces paires étaient trop différentes; ce qui signifie qu’elles présentaient de multiples coquilles, erreurs ou trop de différences dans les champs utilisés pendant les processus de couplage, entraînant leur absence de la base de sondage de l’ESuR. Comme pour chaque cycle, les critères de sélection initiaux et règles de couplage seront examinés, révisés et testés avant le prochain cycle.

Les activités de validation de l’ESuR de 2021 n’ont pas soulevé de préoccupations quant à la méthodologie de l’étude et l’évaluation des estimations de l’ESuR a montré que les résultats étaient cohérents avec les résultats passés et avec les attentes.

10.3 Estimations démographiques

10.3.1 Erreur en fin de période

Le PED de Statistique Canada établit la population des provinces et des territoires au jour du recensement en additionnant les chiffres de la population du recensement, les estimations du sous-dénombrement net du recensement (SDNR) et l’estimation des populations des réserves et établissements partiellement dénombrés. Le PED reconduit ensuite au 1^er juillet 2021 ces chiffres rajustés qui deviennent le point de départ des estimations postcensitaires de la population.

Au moment de l’établissement de ces chiffres ajustés, le PED procède à une évaluation de la qualité des estimations postcensitaires qu’il a produites dans la période quinquennale précédant le recensement. L’évaluation porte sur l’écart entre le chiffre des estimations postcensitaires au jour du recensement et le chiffre ajusté de la population de ce recensement. Cet écart est appelé erreur en fin de période. L’examen détaillé de cette erreur constitue la principale mesure de la qualité des estimations postcensitaires.

Le tableau 10.3.1 présente les erreurs en fin de période pour 2006, 2011, 2016 et 2021, selon la province et le territoire ainsi que pour l’ensemble du Canada. Rappelons qu’une erreur en fin de période est dite positive lorsque l’estimation démographique postcensitaire est supérieure au chiffre du recensement ajusté. À l’échelle nationale, l’erreur en fin de période pour 2021 s’élève à -41 269 personnes, pour un taux d’erreur de -0,11 %. Les estimations démographiques à l’échelle nationale ont donc sous-estimé la population du Canada. Le taux d’erreur de 2021 était inférieur à celui de 2006 et 2016^{Note 1}. Quatre provinces et un territoire enregistraient une erreur en fin de période supérieure à 1 % ou inférieure à -1 % en 2021 : Terre-Neuve-et-Labrador (-1,24 %), Île-du-Prince-Édouard (1,59 %), Nouvelle-Écosse (-1,00 %), Saskatchewan (1,06 %) et Territoires du Nord-Ouest (2,57 %). Aux fins de comparaison, en 2016, cinq provinces et un territoire enregistraient des erreurs en fin de période similaires. En 2021, huit provinces et un territoire enregistraient une erreur en fin de période inférieure (en valeur absolue) à celle de 2016.

10.3.2 Exactitude des estimations postcensitaires

Aux fins de la production des estimations du PED, les études sur la couverture du recensement sont utilisées pour ajuster les chiffres du recensement pour tenir compte du SDNR. Or, comme ces études se basent en partie sur des enquêtes par sondage, les résultats du SDNR comportent une certaine variabilité statistique attribuable à l’échantillonnage. Afin de déterminer si les erreurs en fin de période présentées précédemment sont statistiquement significatives, il faut donc tenir compte de l’erreur-type des chiffres du recensement ajustés. Par ailleurs, étant donné que les chiffres ajustés du Recensement de 2016 ont servi de base aux estimations postcensitaires de 2016 à 2021, une erreur-type combinant la variabilité statistique des chiffres ajustés des recensements de 2016 et de 2021 a été calculée pour le Canada et pour chaque province et territoire.

Le tableau 10.3.2 présente l’erreur en fin de période de 2021 pour le Canada, les provinces et les territoires, l’erreur-type combinée des chiffres ajustés des recensements de 2016 et de 2021 et la valeur t^{Note 2}. L’erreur en fin de période est statistiquement significative au niveau de confiance de 95 % pour Terre-Neuve-et-Labrador, l’Île-du-Prince-Édouard, la Nouvelle-Écosse, la Saskatchewan et les Territoires du Nord-Ouest. Pour ces secteurs de compétence, la variabilité attribuable à l’échantillonnage des chiffres ajustés des recensements de 2016 et de 2021 ne permet donc pas d’expliquer la plus grande part de l’erreur en fin de période.

Les composantes de l’accroissement démographique estimées par le PED ont été comparées à celles tirées d’autres sources, principalement de l’ESoR, afin de déterminer les composantes pouvant être plus étroitement liées à l’erreur en fin de période. Cette analyse s’est concentrée sur les cinq secteurs de compétence pour lesquels cette erreur était statistiquement significative. La migration interprovinciale, notamment celle des immigrants récents, pourrait expliquer une partie de l’erreur en fin de période calculée pour l’Île-du-Prince-Édouard, la Saskatchewan et les Territoires du Nord-Ouest. Les effets de l’échantillonnage de l’ESoR et de plusieurs composantes de l’accroissement démographique pourraient contribuer à expliquer l’erreur calculée pour Terre-Neuve-et-Labrador, ainsi que pour la Nouvelle-Écosse. Toutefois, il est difficile de déterminer un facteur principal pour ces deux provinces. Enfin, l’émigration et le nombre de résidents non permanents demeurent généralement les phénomènes démographiques particulièrement difficiles à mesurer.