Le résultat pour les entreprises (du moins dans beaucoup de cas) est que pour mesurer le stress ambiant dans un service par exemple, elles vont construire des outils à la « sauce maison », sans se douter le moins du monde que la métrologie (sociométrie, psychométrie) est une science à part entière. Elles peuvent aussi utiliser des tests qu’on leur a présentés comme étant fiables (or, sans article scientifique de validation revu par des experts, un test est peut-être fiable, peut-être pas, on ne peut pas le savoir, c’est une sacrée prise de risque !). Dans les deux cas, cela revient presque à vouloir mesurer la longueur d’une table avec un thermomètre, l’exemple est sans doute un peu fort, mais pas tant que ça… Pourquoi ?
Les deux premières étapes de la méthode de Churchill consistent à interroger plusieurs populations concernées par le critère à évaluer (représentations sociales, comportements, opinions, motivations, valeurs…). D’abord une population d’experts du sujet, mais aussi des personnes susceptibles d’être concernées de près ou de loin, Monsieur et Madame tout le monde. Ces interviews permettent d’exercer une « rupture », autrement dit, elles permettent aux chercheurs de rompre avec leurs préjugés. On pense tous, c’est un travers humain (un biais cognitif) que la majorité des personnes pensent comme ceci ou comme cela, on catégorise… et sans avoir récolté un maximum d’avis, on peut passer à côté de l’essentiel, ou se tromper dans l’ordre des priorités. Ces interviews permettent également de recueillir le vocabulaire utilisé par ces Messieurs et Mesdames tout le monde. Vous conviendrez que l’affirmation « en ce moment, l’anhédonie me caractérise » veut dire la même chose que « en ce moment, je n’ai plus envie de rien » pour autant la première formulation risque de ne pas être comprise par tout le monde et donc d’induire des réponses erronées (ah, je pensais que ça voulait dire…) ou un abandon de réponse pur et simple faute d’avoir compris la question. Une fois le verbatim (retranscription fidèle des interviews) constitué, une analyse de contenu permet de générer ce qu’on appelle « le bassin d’items », c’est-à-dire une liste d’assertions qui est ensuite proposée sous la forme d’un questionnaire (après avoir vérifié les effets de contexte pour l’ordre des items et gérer au mieux les biais potentiels dans les réponses).
Les étapes suivantes de la méthode de Churchill permettent d’épurer l’outil, d’éliminer les items complexes par exemple, c’est-à-dire ceux qui n’ont pas toujours été interprétés de la même manière par l’ensemble des répondants, ou ceux qui finalement n’apportent pas beaucoup d’informations nécessaires à la compréhension du problème. On vérifie également les validités (il y en a plusieurs) et la fiabilité de l’outil.
Ce n’est qu’après toutes ces étapes qu’on commence à dégager des seuils ou des normes… Voilà pourquoi c’est si long de construire un outil valide, mais voilà aussi pourquoi cela en fait un outil valide, on pourrait aussi dire « un outil qui minimise l’erreur ». Moins un outil est valide plus la probabilité pour que les scores qu’il permet d’obtenir soient faux augmente (d’une tendance à un résultat franchement faux) et donc plus on est susceptible de prendre des décisions sur une base totalement aléatoire… En effet, dans ce cadre, faire intervenir ces scores récoltés comme élément d’une prise de décision ou jouer à pile ou face, revient quasiment au même, sauf que celui ou celle qui ne connaît pas la théorie de la mesure aura eu l’impression de prendre une décision réfléchie.
L’idée est simple et efficace : demander aux futures personnes interrogées de construire elles-mêmes le questionnaire. Ainsi, sur un ou plusieurs thèmes, définis par un mot ou une expression (ex : pour savoir sur quoi des individus portent leur intérêt, les mots seront « la mort », « l’amour », « l’environnement » …), chacun donne une affirmation ou plusieurs et la justifie. Les personnes peuvent ajouter leur(s) propre(s) thème(s), le but étant ici de récolter le plus d’avis possibles et le plus de verbatim (vocabulaire) possible tout en laissant le maximum de liberté d’expression.
Le fichier est ensuite analysé selon la méthode Q[5] qui permet de dégager les grands thèmes et une première analyse factorielle permet de les catégoriser. Ensuite, un travail d’experts va récupérer les informations, donc les phrases, expressions des individus pour les regrouper sous forme de questionnaire(s)..
Il ne reste plus qu’à choisir l’échelle (Likert, EVA… selon le besoin de précision), à bien sur vérifier l’ordre des items, et à soumettre l’ensemble à un échantillon de personnes (rappelons la règle : 10 personnes minimum par item / pour un questionnaire de 20 items, il faudra donc un échantillon de minimum 200 personnes), puis une fois le questionnaire épuré, le resoumettre à un plus large échantillon afin d’étudier les validités et la fiabilité puis de dégager les normes et/ou les seuils.
Pour l’exemple de notre enquête portant sur les sujets d’attention, étude qui aurait pu se contenter d’être un simple sondage destiné à savoir sur quoi portait l’attention de français au beau milieu d’une crise sanitaire sans précédent, nous avons obtenu pour la première étape 640 réponses et 4725 pour la seconde.
Si nous avions choisi la méthode du sondage, nos résultats auraient forcément été dirigés, en effet, nous aurions très certainement inséré des questions orientées sur la santé. C’est un exemple frappant, car justement si le thème « santé » a été proposé, il n’est pas ressorti dans les analyses, au final très peu de personnes l’ont choisi… un déni, un ras-le-bol ? Difficile de le savoir, mais ce que nous avons su, grâce à notre méthode est que ce sujet ne faisait plus partie des centres d’attention des français à ce moment-là. Outre un thème proposé par les répondants et auquel nous n’avions pas pensé : les réseaux sociaux et la transmission de l’information, les thèmes concernant les valeurs que sont l’amour, l’altruisme, la générosité, l’apprentissage… ont été les plus choisis. Choix qui contrastent avec certains articles de presse, par exemple ceux mentionnant l’encombrement du 17 par des appels de dénonciation (Kauffmann, Le Monde, 10 avril 2020 ; Vidalie, L’Express, 4 avril 2020 ; France Info, 14 avril 2020…). Des articles qui suggèrent une crise sanitaire entrainant ou accentuant une crise des valeurs ? S’il existe peut-être un lien, il ne va en tout cas pas dans l’unique sens évoqué par la presse. Quoiqu’il en soit, la lecture de ces articles comme de beaucoup d’autres auraient pu nous inciter à réaliser un sondage sur la base d’informations disons « sensationnelles » et nous voulions surtout être totalement dégagés d’un quelconque parti-pris, ce que permet cette méthode.
C’est aussi tout l’intérêt de cette méthode qui peut être utilisée à d’autres fins. Prenons un autre exemple, à l’heure du télétravail, comment soutenir et aider au mieux des salariés susceptibles de vivre mal et de plus en plus mal la situation actuelle ? Bien entendu, il existe pléthore d’outils de diagnostics, mais ces outils sont-ils adaptés quand une entreprise cherche non pas à « soigner » ses salariés mais à les soutenir ? Cela peut donc commencer par permettre l’émergence d’un discours libre, anonyme, en laissant s’exprimer les personnes sur ce qu’elles vivent, sur les aspects négatifs de la situation mais sur les positifs aussi. Une fois tout le discours rassemblé, de manière anonyme bien entendu, un travail par groupe permettra de créer des outils de mesure mais pas que, des outils d’aide, des idées et applications de soutien…. Ce travail remettra également du sens sur une situation inédite, de la cohésion d’équipe, et de l’adhésion aux outils ainsi créés.
Cette méthode qui s’appuie donc sur deux méthodes rigoureusement scientifiques (Churchill et Méthode Q) permet de faire émerger librement le discours, de le quantifier, de le rendre « mesurable » mais également de dégager les différentes structures de pensées de façon fluide et sans a priori, donc de recréer du sens.
Churchill 2.0 a été expérimentée à grande échelle dans le cadre de l’enquête Attention! afin de mesurer et représenter les structures attentionnelles des français. Les résultats sont en cours de publication.
Humans Matter souhaite désormais développer de nouveaux cas d’usages pour cette méthode en s’associant avec des acteurs des études, des tendances et de la recherche consommateurs / utilisateurs en général.
