Instruments have been developed that measure consumer evaluations of primary healthcare using different approaches, formats and questions to measure similar attributes. In 2004 we concurrently administered six validated instruments to adults and conducted discussion groups to explore how well the instruments allowed patients to express their healthcare experience and to get their feedback about questions and formats.
Method: We held 13 discussion groups (n=110 participants): nine in metropolitan, rural and remote areas of Quebec; four in metropolitan and rural Nova Scotia. Participants noted critical incidents in their healthcare experience over the previous year, then responded to all six instruments under direct observation and finally participated in guided discussions for 30 to 40 minutes. The instruments were: the Primary Care Assessment Survey; the Primary Care Assessment Tool; the Components of Primary Care Index; the EUROPEP; the Interpersonal Processes of Care Survey; and part of the Veterans Affairs National Outpatient Customer Satisfaction Survey. Two team members analyzed discussion transcripts for content.
Results: While respondents appreciated consistency in response options, they preferred options that vary to fit the question. Likert response scales functioned best; agreement scales were least appreciated. Questions that average experience over various providers or over many events diluted the capacity to detect critical negative or positive incidents. Respondents tried to answer all questions but stressed that they were not able to report accurately on elements outside their direct experience or in the provider's world. They liked short questions and instruments, except where these compromise clarity or result in crowded formatting. All the instruments were limited in their capacity to report on the interface with other levels of care.
Conclusion: Each instrument has strengths and weaknesses and could be marginally improved, but respondents accurately detected their intent and use. Their feedback offers insight for instrument development.
Des instruments ont été conçus pour mesurer l'évaluation des soins de santé primaires par les patients, et ce, par diverses démarches, formats et questions qui mesurent des caractéristiques similaires. En 2004, nous avons administré simultanément à des adultes six instruments validés et avons méne des groupes de discussion pour voir, d'une part, à quel point ces instruments permettent aux patients d'exprimer leur expérience de soins et pour obtenir, d'autre part, leurs commentaires sur les questions et les formats.
Méthodologie :: Nous avons organisé 13 groupes de discussion (n=110 participants) : neuf dans des régions métropolitaines, rurales et éloignées du Québec; quatre dans des régions métropolitaines et rurales de la Nouvelle-Écosse. Les participants ont noté des incidents critiques dans le cadre de leur expérience de soins au cours de l'année précédente, puis ont répondu aux six instruments sous observation directe, et finalement ont participé à des échanges dirigés de 30 à 40 minutes. Les instruments suivants ont été utilisés : Primary Care Assessment Survey; Primary Care Assessment Tool; Components of Primary Care Index; EUROPEP; Interpersonal Processes of Care Survey; et une partie du Veterans Affairs National Outpatient Customer Satisfaction Survey. Deux membres de l'équipe ont analysé le contenu des transcriptions des discussions.
Résultats :: Bien que les répondants apprécient la constance dans les choix de réponses offerts, ils préfèrent les choix qui varient de façon à s'ajuster aux questions. Les échelles de réponse de type Likert fonctionnent le mieux; les « échelles d'accord » sont les moins appréciées. Les questions qui tracent une moyenne de l'expérience pour plusieurs fournisseurs de services ou pour plusieurs événements diluent la capacité de détecter des incidents critiques négatifs ou positifs. Les répondants ont tenté de répondre à toutes les questions, mais ont indiqué qu'ils étaient incapables de rapporter avec précision les éléments externes à leur expérience directe ou ceux qui faisaient partie de l'univers du fournisseur de soins. Ils ont apprécié les questions courtes et les instruments courts, à l'exception des cas où un format compact compromettait la clarté. Tous les instruments présentaient des limites en terme de capacité pour faire état de l'interface avec les autres niveaux de soins.
Conclusion :: Tous les instruments présentent des points forts et des points faibles, et pourraient donc être légèrement amélioré, cependant les répondants ont détecté avec précision l'intention et l'emploi de chacun d'eux. Les commentaires des répondants ont donné des pistes pour le développement d'instruments.