Objectifs du chapitre
À la fin de ce chapitre, vous serez capable de:
- décider s'il faut commander une étude, en comparant son coût à la réduction espérée de la perte due à une décision erronée, et poser l'arbre de décision correspondant;
- distinguer un problème de décision d'un problème d'étude, et enchaîner les six étapes d'une étude sans perdre l'information à chaque passage;
- évaluer une source secondaire suisse (Office fédéral de la statistique, association de branche, rapport annuel, Surveillance des prix, statistique douanière) au moyen d'une grille explicite, et énoncer ses limites;
- choisir entre une étude qualitative et une étude quantitative selon la question posée, et dire ce que chacune ne peut pas produire;
- calculer une marge d'erreur et la taille d'échantillon requise , et expliquer pourquoi la précision ne dépend pas du taux de sondage;
- repérer et corriger les six biais classiques d'un questionnaire, et distinguer ce qu'une corrélation observée permet de conclure de ce que seule une expérimentation établit.
Décider sous incertitude: ce que l'on achète en achetant une étude
Une étude de marché n'est pas un rituel de passage avant un lancement. C'est un achat d'information, et comme tout achat il se justifie par ce qu'il rapporte. Le chapitre 2 a montré comment décrire un marché; celui-ci montre comment produire les chiffres qui manquent encore — et, d'abord, comment savoir s'il vaut la peine de les produire.
La partie soulignée de cette définition est celle que l'on oublie le plus souvent. Une étude commandée «pour mieux connaître nos clients», sans décision en attente, produit un rapport que personne n'ouvre. À l'inverse, une décision déjà prise ne mérite pas d'étude: on ne paie pas pour se faire confirmer.
La valeur d'une étude
Démonstration. Dressons l'arbre de décision à deux branches. Sur la branche «sans étude», l'entreprise décide immédiatement; elle se trompe avec la probabilité et subit alors la perte , et ne subit rien sinon. La perte espérée est donc, par définition de l'espérance d'une variable aléatoire à deux valeurs,
Sur la branche «avec étude», l'entreprise paie dans tous les cas, puis se trompe avec la probabilité réduite :
La seconde branche est préférable si et seulement si sa perte espérée est la plus faible:
Enfin, comme , on a : une étude parfaite, qui supprimerait toute erreur, vaudrait , et c'est un plafond que rien ne dépasse.
Deux réécritures de (3.1) sont utiles en pratique. À coût d'étude donné, l'étude n'est rentable que si elle réduit la probabilité d'erreur d'au moins points; et le budget maximal se lit directement comme la réduction espérée de la perte.
Les six étapes, et ce qui se perd à chacune
Une étude se déroule toujours selon le même enchaînement. Sa première étape, la plus négligée, consiste à traduire un problème de décision («faut-il lancer le Léman Cargo en Suisse alémanique?») en un problème d'étude («quelle est la proportion de détaillants alémaniques prêts à référencer un vélo cargo à CHF 6 490, et quels arguments les convaincraient?»). Le premier est formulé par la direction, le second par le chargé d'études; confondre les deux produit soit une étude qui répond à côté, soit un rapport qui laisse la décision entière.
La règle qui gouverne cette chaîne est simple: l'information se perd, elle ne se crée pas. Un échantillon biaisé ne se corrige pas par un test statistique; une question mal formulée ne se répare pas par une pondération; un rapport sans recommandation ne devient pas une décision parce qu'il est bien mis en page.
Le système d'information marketing
Toutes les informations dont une entreprise a besoin ne s'achètent pas: la plupart circulent déjà chez elle.
Les données internes sont gratuites et sous-exploitées: ventes par référence, par canal, par région et par mois; fichier clients et CRM (date de premier achat, fréquence, panier moyen, canal d'acquisition); traces du service après-vente et réclamations; données de caisse ou de la boutique en ligne (pages vues, taux de mise au panier, taux d'abandon); remontées de la force de vente. Chez Cyclo Léman, le seul croisement des ventes par gamme et par détaillant dirait déjà si le Léman Cargo se vend partout ou seulement dans trois villes — question à CHF 0, souvent posée à un institut à CHF 40 000.
La veille est la surveillance organisée de l'environnement décrit au chapitre 2: prix et assortiments des concurrents, nouveaux entrants, réglementation, presse professionnelle, salons. Continue et peu coûteuse, elle exige seulement d'être organisée: qui regarde quoi, à quelle fréquence, et à qui le transmet-il? Les études ad hoc, enfin, sont commandées pour une décision précise et ne devraient intervenir qu'une fois les deux premières sources épuisées — c'est le principe d'économie du théorème 3.1.
Les sources secondaires: ce que l'on trouve avant de dépenser un franc
En Suisse, le gisement gratuit est riche:
- l'Office fédéral de la statistique (OFS), à Neuchâtel: enquête sur le budget des ménages (structure des dépenses par classe de revenu), statistique structurelle des entreprises, statistique du commerce de détail, microrecensement mobilité et transports;
- les associations faîtières de branche, qui publient chaque année les volumes de leur marché (importateurs de véhicules ou de vélos, fédérations du commerce de détail, de l'hôtellerie, de la construction) — mais pour leurs seuls membres;
- les rapports annuels des sociétés cotées et des grandes coopératives (Migros, Coop, Swatch Group, Emmi): chiffre d'affaires par segment, nombre de points de vente, parfois parts de marché revendiquées;
- la Surveillance des prix (Preisüberwacher) et la Commission de la concurrence (COMCO): enquêtes sectorielles, comparaisons de prix avec l'étranger, décisions détaillant la structure d'un marché;
- les comparateurs (Comparis, Toppreise) et les places de marché, utiles pour reconstituer une structure de prix et un assortiment;
- les données douanières du commerce extérieur (base Swiss-Impex): importations et exportations par position tarifaire, en valeur et en quantité — souvent la seule mesure fiable de la taille d'un marché de biens en Suisse;
- les publications académiques et les études des hautes écoles et des instituts privés, dont les synthèses sont fréquemment publiques même quand l'étude complète est payante.
Les limites du secondaire
Une donnée secondaire répond à la question de celui qui l'a produite, pas à la vôtre. Quatre écarts reviennent systématiquement.
Les définitions. «Vélo électrique» inclut-il les vélos rapides à km/h, homologués comme cyclomoteurs? Deux sources qui ne définissent pas le bien de la même façon ne sont pas comparables, et l'écart entre elles n'est pas une erreur de mesure: c'est un désaccord de périmètre.
La fraîcheur. Les statistiques officielles paraissent souvent avec douze à dix-huit mois de retard. Sur un marché qui croît vite, une donnée de l'année N−2 décrit un marché qui n'existe plus.
Le périmètre. Suisse seule ou Suisse et Liechtenstein? Population résidente permanente ou ménages? Une part de marché calculée avec un numérateur et un dénominateur de périmètres différents est fausse, et cette erreur est très fréquente.
Le biais du producteur. Une association de branche a intérêt à décrire un marché dynamique; un institut qui offre une étude gratuite vend en réalité sa méthodologie; une entreprise qui publie sa part de marché a choisi la définition du marché qui l'arrange. Cela ne disqualifie pas la source, mais impose de lire qui a payé.
Une grille d'évaluation
Avant de reprendre un chiffre, répondez à six questions. Si l'une reste sans réponse, le chiffre s'utilise avec des guillemets et un «de l'ordre de».
| Question | Ce qu'il faut vérifier |
|---|---|
| Qui? | Auteur, commanditaire, financement; intérêt éventuel au résultat |
| Quand? | Période de collecte (et non de publication); conjoncture particulière |
| Comment? | Recensement, sondage, panel, modèle d'estimation; mode de collecte |
| Pourquoi? | Objectif initial de la collecte; ce qu'elle n'avait pas à mesurer |
| Sur qui? | Population visée, base de sondage, taille, taux de réponse, redressement |
| Quoi exactement? | Définition précise du bien, de l'unité et du territoire; unités (valeur ou volume, TTC ou hors taxe) |
Vous devez estimer la taille du marché suisse du vélo électrique. Vous disposez de quatre sources. Laquelle constitue le point de départ le plus solide, et pourquoi?
Les études qualitatives
Quand la question est «pourquoi?» ou «comment?», compter ne sert à rien: il faut écouter et observer.
Les quatre méthodes
L'entretien individuel semi-directif. Quarante-cinq à quatre-vingt-dix minutes, guidé par un guide d'entretien qui liste les thèmes sans imposer l'ordre ni les mots. Il va loin dans les motivations et les freins et convient aux sujets intimes ou complexes (santé, argent, achat professionnel), mais il est coûteux en temps d'analyse.
L'entretien de groupe (focus group). Six à dix participants, quatre-vingt-dix à cent vingt minutes, animés par un modérateur. La dynamique de groupe fait émerger des arguments et un vocabulaire que l'entretien individuel n'atteint pas: les participants se répondent. Le revers est l'effet de conformité — un leader d'opinion peut orienter le groupe entier — et la désirabilité sociale, plus forte en public.
L'observation et l'ethnographie. On regarde ce que les gens font plutôt que ce qu'ils disent: accompagnement d'un client en magasin (shop-along), observation d'un rayon, journal de bord tenu deux semaines. C'est la méthode la plus révélatrice pour les gestes automatiques et les contournements: personne ne déclare spontanément qu'il porte son vélo cargo dans un escalier chaque soir faute de place au rez-de-chaussée, mais tout le monde le montre.
Les tests de concept. On présente une description écrite ou visuelle d'un produit qui n'existe pas encore et l'on recueille compréhension, crédibilité, différenciation, freins et prix acceptable. Le test de concept qualitatif dit pourquoi un concept fonctionne ou non; il ne dit pas combien de gens l'achèteraient.
Ce que le qualitatif peut et ne peut pas
Le qualitatif peut: comprendre des mécanismes de décision, faire émerger le vocabulaire réel des clients (matière première du positionnement et de la publicité), identifier des freins insoupçonnés, générer des hypothèses et construire les modalités de réponse d'un questionnaire quantitatif futur.
Le qualitatif ne peut pas: mesurer, hiérarchiser des proportions, extrapoler à une population. «Sept participants sur dix ont trouvé le prix élevé» n'est pas un résultat: sur dix personnes non tirées au sort, la marge d'incertitude dépasse de loin l'écart observé, et une autre sélection de dix personnes donnerait un autre chiffre. La règle d'écriture est simple: dans un rapport qualitatif, aucun pourcentage.
Taille de l'échantillon et saturation
On n'échantillonne pas ici pour représenter, mais pour couvrir la diversité des situations. On construit donc l'échantillon par contraste: hommes et femmes, urbains et périurbains, acheteurs et non-acheteurs, clients et anciens clients. Le critère d'arrêt est la saturation: on cesse quand les derniers entretiens n'apportent plus aucune catégorie nouvelle. En pratique, la saturation survient souvent entre huit et quinze entretiens par segment homogène, et plus tard si la population est hétérogène. C'est un critère à vérifier, pas une taille à décréter: si le douzième entretien apporte encore du neuf, il en faut d'autres.
L'analyse de contenu
L'analyse ne commence pas par la lecture des notes de l'animateur, mais par la retranscription des entretiens. On procède ensuite à un codage ouvert: on parcourt le corpus en attribuant à chaque passage une étiquette décrivant ce dont il parle («coût d'usage», «peur du vol», «regard des collègues»). Un second passage, dit codage axial, regroupe ces étiquettes en catégories et cherche les relations entre elles: quels freins vont ensemble, lesquels ne surviennent que chez les non-acheteurs.
La qualité de cette analyse se contrôle. On établit une grille de codes écrite, on fait coder un même échantillon d'extraits par deux personnes indépendantes et l'on mesure leur accord; un désaccord fréquent signale une grille ambiguë, pas un codeur négligent. On compte les occurrences avec prudence — un thème revient parfois souvent à cause du guide d'entretien — et l'on rapporte les cas qui contredisent l'interprétation retenue, car ce sont eux qui la rendent crédible.
Cyclo Léman veut savoir quel pourcentage des cyclistes pendulaires romands seraient prêts à payer plus de CHF 4 000 pour un vélo électrique, et pour quelles raisons. Quelle démarche est correcte?
Les études quantitatives et l'échantillonnage
Population, base de sondage, échantillon
Méthodes probabilistes et non probabilistes
Une méthode est probabiliste si chaque unité de la base a une probabilité connue et non nulle d'être tirée. C'est la condition — et la seule — qui autorise à calculer une marge d'erreur.
| Méthode | Principe | Biais et limites |
|---|---|---|
| Aléatoire simple | Tirage au sort dans toute la base | Exige une base complète; coûteux si la population est dispersée |
| Stratifié | On découpe la population en strates (région, âge), on tire dans chacune | Exige de connaître la répartition des strates; gagne en précision à égal |
| Par grappes | On tire des grappes entières (des classes, des communes, des détaillants) | Économique, mais moins précis: les unités d'une grappe se ressemblent |
| Systématique | Une unité sur dans une liste ordonnée | Biais si la liste a une périodicité cachée |
| Quotas | On remplit des quotas de profil sans tirage au sort | Pas de marge d'erreur calculable; l'enquêteur choisit les plus accessibles |
| Convenance | On interroge qui se présente | Non extrapolable; utile seulement en pré-test |
| Volontariat en ligne | Les répondants se présentent d'eux-mêmes | Auto-sélection: répondent ceux qui ont une opinion forte ou un intérêt |
Les méthodes non probabilistes ne sont pas interdites — la méthode des quotas est le standard de fait des instituts, pour des raisons de coût — mais elles interdisent le vocabulaire de la précision. Un sondage par quotas ne donne pas d'intervalle de confiance; les «± 3 points» qui l'accompagnent parfois sont calculés comme si le tirage avait été aléatoire, et ne mesurent alors qu'une partie de l'erreur totale.
Marge d'erreur et taille d'échantillon
Démonstration. Notons les réponses, avec si l'unité possède le caractère et sinon. Le tirage étant aléatoire simple, ces variables sont indépendantes et de même loi de Bernoulli de paramètre , d'espérance et de variance (cours de probabilités et statistique). La proportion observée est leur moyenne, , donc
L'estimateur est donc sans biais, et son écart-type — l'erreur type — vaut . Par le théorème central limite, la variable centrée réduite converge en loi vers la loi normale centrée réduite lorsque . Pour grand, on a donc
c'est-à-dire , ce qui est (3.2). En résolvant en : , d'où (3.3).
Reste le cas le plus défavorable. La fonction est une parabole tournée vers le bas; sa dérivée s'annule en , où : c'est bien un maximum, et . Prendre dans (3.3) donne donc la taille suffisante quelle que soit la vraie proportion.
Cette forme en a une conséquence budgétaire immédiate: la précision coûte de plus en plus cher. Comme le coût d'un questionnaire est approximativement proportionnel à , diviser la marge d'erreur par deux quadruple le budget. C'est ici que le théorème 3.1 revient: la précision supplémentaire ne se justifie que si elle change la décision.
Explorateur de taille d'échantillon
Pour un échantillon aléatoire simple, la demi-largeur de l'intervalle de confiance d'une proportion vaut e = z √(p(1−p)/n). À gauche, la proportion observée et son intervalle sur une échelle de 0 à 100 %. À droite, la décroissance de la marge d'erreur en 1/√n, avec le point courant. Quadrupler l'échantillon divise la marge par deux.
Un institut interroge un échantillon aléatoire simple de personnes; d'entre elles déclarent connaître la marque. Calculez la demi-largeur de l'intervalle de confiance à de cette proportion, en points de pourcentage.
Le questionnaire
Le questionnaire est l'instrument de mesure. Comme tout instrument, il déforme ce qu'il mesure, et une part importante de la variabilité d'un sondage vient de sa rédaction, non des répondants.
Types de questions et échelles
Les questions fermées (dichotomiques, à choix multiple, à échelle) se codent et s'analysent directement; les questions ouvertes livrent le vocabulaire des répondants mais coûtent cher à coder et sont souvent bâclées en auto-administré. Les questions filtres orientent le répondant vers les seules sections qui le concernent, et doivent être placées avant elles.
Trois échelles reviennent constamment.
- L'échelle de Likert mesure un degré d'accord avec une affirmation, en cinq ou sept positions. Elle produit une variable ordinale: la médiane, les quartiles et le pourcentage de réponses dans les deux positions supérieures (le top-two-boxes) sont toujours licites. En calculer la moyenne suppose que les écarts entre positions soient égaux, hypothèse fausse en toute rigueur mais universellement pratiquée; ne comparez à tout le moins jamais deux moyennes d'échelles rédigées différemment.
- Le différentiel sémantique fait positionner un objet entre deux adjectifs opposés (moderne / démodé, cher / bon marché) sur sept positions. Il est adapté à la mesure d'une image de marque et aux cartes perceptuelles du chapitre 5.
- L'échelle d'intention d'achat comporte cinq positions de «certainement pas» à «certainement». Les intentions déclarées surestiment systématiquement l'achat effectif, parce que déclarer ne coûte rien. La pratique consiste à appliquer des coefficients de transformation (par exemple retenir des «certainement» et des «probablement»), calibrés sur l'historique de l'entreprise et non repris d'un manuel: sans cet étalonnage interne, ces coefficients ne sont qu'un habillage.
L'ordre des questions
Un questionnaire se construit en entonnoir: questions générales et faciles d'abord (pour engager le répondant), questions spécifiques ensuite, questions délicates et signalétiques (âge, revenu, formation) à la fin, quand la confiance est acquise et qu'un abandon ne fait plus perdre l'essentiel. Il faut aussi se méfier des effets de contamination: une question détaillée sur les avantages écologiques du vélo électrique, posée avant la question d'intention d'achat, augmente mécaniquement cette dernière. Quand on ne peut éviter un tel enchaînement, on fait tourner l'ordre (rotation aléatoire) d'un répondant à l'autre pour que l'effet se compense.
Les six biais classiques
| Biais | Mauvaise question | Correction |
|---|---|---|
| Question orientée | «Ne pensez-vous pas qu'un vélo suisse de qualité mérite son prix?» | «Comment jugez-vous le prix de ce vélo: beaucoup trop élevé, un peu trop élevé, correct, avantageux?» |
| Double question | «Le service après-vente est-il rapide et compétent?» | Deux questions distinctes, l'une sur le délai, l'autre sur la compétence |
| Mémoire | «Combien de fois avez-vous utilisé votre vélo l'an dernier?» | «Au cours des sept derniers jours, combien de trajets avez-vous faits à vélo?» |
| Désirabilité sociale | «Portez-vous toujours un casque?» | «Lors de votre dernier trajet, portiez-vous un casque?», en auto-administré et anonyme |
| Acquiescement | Une série d'affirmations toutes formulées positivement | Alterner le sens des affirmations et utiliser des modalités explicites plutôt que oui/non |
| Non-réponse | Question sur le revenu placée en tête | Placer en fin de questionnaire, proposer des tranches, prévoir «ne souhaite pas répondre» |
Les trois premiers biais faussent la mesure, les deux suivants la sincérité, le dernier la composition de l'échantillon. Le biais de non-réponse est le plus dangereux, parce qu'il est invisible dans les résultats: si les insatisfaits répondent deux fois plus volontiers, la satisfaction moyenne mesurée est fausse, et aucune augmentation de ne la corrige.
Le dispositif de la figure 3.3 porte un nom: le split-ballot. On tire au sort quatre sous-échantillons et l'on soumet à chacun une version différente de la même question; comme les groupes ne diffèrent que par le hasard du tirage, tout écart systématique entre eux ne peut venir que de la formulation. C'est déjà une expérimentation, au sens de la section suivante — et le seul moyen honnête de savoir de combien vos propres questions déforment vos propres résultats.
Le pré-test
Aucun questionnaire ne part sur le terrain sans pré-test auprès de dix à trente personnes du public visé, en face-à-face même si l'étude sera en ligne. On y chronomètre la durée réelle (presque toujours supérieure à l'estimation), on observe les hésitations, et surtout on demande au répondant de reformuler la question avec ses mots avant d'y répondre: c'est ainsi que l'on découvre qu'un mot du questionnaire n'a pas le sens qu'on lui prêtait. Le pré-test coûte deux jours; le questionnaire raté coûte l'étude entière.
Remettez dans l'ordre les étapes de construction d'un questionnaire.
Glissez les éléments pour les mettre dans le bon ordre
- Ordonner les questions en entonnoir, les questions signalétiques à la fin
- Choisir le mode de collecte et la durée maximale acceptable du questionnaire
- Rédiger les questions, une seule information par question, et choisir les échelles
- Écrire le problème d'étude et la liste des informations nécessaires à la décision
- Corriger les formulations défectueuses, puis lancer le terrain
- Pré-tester auprès de dix à trente personnes du public cible et chronométrer
Collecte, analyse et restitution
Les modes de collecte
| Mode | Atouts | Limites | Taux de réponse (ordre de grandeur) |
|---|---|---|---|
| En ligne, fichier propre | Coût faible, rapide, visuels possibles | Couverture limitée aux clients connus | de à |
| Panel en ligne rémunéré | Quotas rapides, grands échantillons | Répondants professionnels, auto-sélection initiale | de à des invités |
| Téléphone | Contrôle des quotas, relances possibles | Coûteux; joignabilité en forte baisse | de à |
| Face-à-face | Longs questionnaires, stimuli montrables | Très coûteux; effet enquêteur | de à |
| En magasin ou sur le lieu d'usage | Proximité de l'acte d'achat, mémoire fraîche | Ne touche que les clients présents | variable |
Ces ordres de grandeur sont indicatifs: le taux de réponse dépend surtout du sujet, de la longueur, de l'incitation et de la relation préalable avec le répondant. Retenez qu'il est la statistique à exiger d'un institut: un sondage à de réponse sur un fichier de qualité renseigne moins qu'un sondage à sur un fichier médiocre.
Redressement et pondération
Quand la structure de l'échantillon répondant s'écarte de celle, connue, de la population, on redresse: chaque répondant reçoit un poids égal au rapport entre sa part dans la population et sa part dans l'échantillon.
Analyser: du tri à plat à la comparaison
L'analyse commence par les tris à plat: la distribution de chaque variable, une par une, avec les effectifs, les pourcentages et les non-réponses. Viennent ensuite les tris croisés, qui confrontent deux variables (intention d'achat par tranche d'âge, satisfaction par canal), les moyennes et surtout les mesures de dispersion: une note moyenne de obtenue avec un écart-type de et la même obtenue avec un écart-type de décrivent deux marchés opposés — un marché homogène dans un cas, un marché polarisé, donc segmentable, dans l'autre.
Un tri croisé fait apparaître des écarts. Sont-ils réels ou dus au hasard du tirage? La réponse relève du test d'hypothèse: le test du khi-deux d'indépendance pour deux variables qualitatives, le test de comparaison de proportions ou de moyennes dans les autres cas. Le principe et le calcul de ces tests relèvent du cours de probabilités et statistique; ce qu'il faut retenir ici, c'est la discipline: aucun écart n'est commenté avant d'avoir été comparé à sa marge d'erreur. Deux sous-groupes de personnes, tous deux proches de , ne se distinguent qu'à partir d'un écart d'environ points; le commentaire enthousiaste sur les «5 points de plus chez les moins de 35 ans» est alors du bruit typographié.
L'expérimentation, seule productrice de causalité
Un sondage mesure des associations: les clients exposés à la campagne achètent plus que les autres. Il ne dit pas pourquoi. Seule l'expérimentation — l'affectation aléatoire des unités à un groupe test et à un groupe témoin — établit un lien de cause à effet, parce que le tirage au sort rend les deux groupes comparables en espérance sur tout, y compris sur ce que l'on n'a pas mesuré.
Deux dispositifs sont courants en marketing. Le test A/B compare deux versions d'un élément (objet d'un courriel, page d'accueil, prix affiché, visuel) sur deux sous-populations tirées au sort; il est devenu quasi gratuit en ligne, ce qui est sa force et son danger — multiplier les tests sans hypothèse fait apparaître des «gagnants» par pur hasard. Le test de marché géographique compare deux régions comparables, l'une recevant le nouveau produit ou la nouvelle campagne, l'autre non: c'est la version lourde, utilisée avant un lancement national, et la Suisse s'y prête mal en raison de la petite taille et de l'hétérogénéité linguistique de ses régions.
Restituer: une étude se conclut par une recommandation
Un rapport d'étude n'est pas un empilement de tableaux. Il comporte, dans cet ordre: le rappel du problème de décision et du problème d'étude; la méthode (population, base, mode de collecte, taille, taux de réponse, dates, marge d'erreur, redressements); les résultats organisés par question de décision et non par question du questionnaire; les limites honnêtement énoncées; et une recommandation argumentée et chiffrée, avec ses conditions de validité. Une étude qui se termine par «à la direction d'apprécier» n'a pas été terminée: le chargé d'études est le seul à savoir ce que les données supportent, et cette connaissance fait partie de la livraison. Une bonne pratique consiste à écrire la recommandation avant le terrain, sous forme de phrases à trous («nous recommandons de lancer / de ne pas lancer, parce que la proportion mesurée est supérieure / inférieure à …»): si l'on ne parvient pas à les écrire, c'est que l'étude ne trancherait rien.
Une enseigne constate que les clients détenteurs de sa carte de fidélité dépensent en moyenne CHF 380 par mois contre CHF 190 pour les autres. Le service marketing en conclut que la carte double les dépenses. Quelles critiques sont fondées?
Plusieurs réponses possibles
Synthèse
- Une étude est un investissement: elle ne se justifie que si son coût est inférieur à la réduction espérée de la perte, . Ce critère fixe aussi le budget maximal et la réduction minimale de risque à exiger.
- L'étude enchaîne six étapes, du problème de décision à la recommandation; l'information perdue à une étape ne se récupère jamais aux suivantes. On épuise les données internes et les sources secondaires avant d'engager une collecte primaire, en évaluant chaque source par la grille «qui, quand, comment, pourquoi, sur qui, quoi exactement».
- Le qualitatif comprend, génère des hypothèses et donne le vocabulaire des clients, jusqu'à saturation; il ne mesure rien et ne s'extrapole pas. Le quantitatif mesure, à la condition d'un échantillon probabiliste.
- La marge d'erreur d'une proportion vaut , d'où , maximale en . Elle dépend de et non du taux de sondage ; diviser par deux exige de quadrupler , donc le budget.
- Le questionnaire est un instrument déformant: question orientée, double question, mémoire, désirabilité sociale, acquiescement et non-réponse se corrigent par la rédaction, l'ordre en entonnoir, la rotation des modalités et un pré-test systématique.
- Un sondage établit des associations; seule l'expérimentation avec groupe témoin tiré au sort établit une causalité et mesure l'effet incrémental d'une action. Toute étude se termine par une recommandation argumentée, dans le respect de la nLPD.
Série d'exercices du chapitre 3
Exercice 1 sur 5Quelle taille d'échantillon aléatoire simple faut-il pour obtenir une marge d'erreur de points à de confiance, sans estimation préalable de la proportion?
Dimensionner et interpréter un sondage
Cyclo Léman SA prépare une enquête auprès des cyclistes pendulaires de Suisse romande pour estimer la proportion d'entre eux qui envisagent d'acheter un vélo électrique dans les deux ans. Le tirage sera aléatoire simple dans un panel jugé représentatif, et l'entreprise vise un niveau de confiance de ().
- 1
La taille pour une marge de 3 points
Aucune estimation préalable de la proportion n'est disponible: on se place dans le cas le plus défavorable et l'on applique , en arrondissant à l'entier supérieur.
ExerciceQuelle taille d'échantillon faut-il pour une marge d'erreur de points de pourcentage?
Et pour une marge de 1,5 point?
La marge réellement obtenue
Comparer deux sous-groupes
Exercices
Vous pouvez afficher le corrigé directement sous chaque énoncé après avoir cherché la solution.
Sauf indication contraire, les tirages sont aléatoires simples et le niveau de confiance est de ().
- Quelle taille d'échantillon faut-il pour une marge d'erreur de points, puis de points, sans estimation préalable de la proportion? Quel est le rapport entre les deux tailles, et pourquoi?
- Un sondage auprès de personnes trouve de réponses favorables. Calculez la marge d'erreur et l'intervalle de confiance.
- On souhaite une marge de points mais à de confiance (). Quelle taille faut-il? Comparez avec les répondants nécessaires à et commentez le prix de la confiance.
- L'enquête de la question 3 porte sur une population de détaillants et clients professionnels. Appliquez la correction pour population finie à la taille trouvée à () et concluez.
Solution
1. Avec , .
- Pour : répondants.
- Pour : répondants.
Le rapport est de , soit approximativement : la taille varie comme l'inverse du carré de la marge visée, puisque décroît en . Diviser la marge par multiplie l'échantillon par .
2. et , dont la racine vaut . Donc
et l'intervalle de confiance est . On peut affirmer que la majorité est favorable, puisque l'intervalle entier est au-dessus de .
3. répondants. Passer de à de confiance à précision égale exige fois plus de répondants, c'est-à-dire fois: de budget supplémentaire pour réduire de à le risque de se tromper. Cela se justifie pour une décision d'investissement lourde et irréversible; pour arbitrer entre deux visuels publicitaires, (voire ) suffit amplement.
4. La taille corrigée est
Interroger des unités suffit donc pour une marge de points, soit questionnaires de moins, environ d'économie. La correction n'est utile qu'ici, parce que le taux de sondage est élevé; sur une population de plusieurs millions elle serait indiscernable de .
Cyclo Léman SA envisage d'ouvrir une boutique en propre à Genève. L'investissement perdu en cas d'échec (aménagement, bail, stock, personnel pendant la période d'essai) s'élève à CHF 1 200 000. La direction estime à la probabilité que la boutique ne soit pas viable. Un institut propose une étude d'implantation à CHF 90 000, qui ramènerait selon lui la probabilité d'erreur à .
- Calculez la perte espérée avec et sans étude, puis le gain espéré de l'étude. Faut-il la commander?
- Quel est le coût maximal justifiable de cette étude? Et la réduction minimale de la probabilité d'erreur qu'elle doit atteindre pour valoir CHF 90 000?
- Un second institut propose une étude à CHF 40 000, mais qui ne ramènerait la probabilité d'erreur qu'à . Comparez les trois options (pas d'étude, institut 1, institut 2).
- Quelle est la valeur d'une information parfaite? En quoi ce nombre est-il utile même s'il n'est jamais atteignable? Citez enfin deux raisons de se méfier du chiffre «» annoncé par l'institut.
Solution
1. Sans étude: CHF. Avec l'étude de l'institut 1: CHF. Le gain espéré est de CHF: oui, il faut commander l'étude. Le critère (3.1) donne la même réponse: .
2. Le coût maximal justifiable est CHF. La réduction minimale de probabilité pour qu'une étude à CHF 90 000 soit rentable est , soit points: l'étude doit faire passer le risque au-dessous de .
3. Institut 2: CHF, contre sans étude et avec l'institut 1. Le classement est donc: institut 1 (), institut 2 (), pas d'étude (). L'étude bon marché est presque inutile: elle ne réduit le risque que de points, soit une réduction de perte espérée de CHF pour un coût de , un gain net de seulement CHF. La leçon est générale: le prix d'une étude compte moins que sa capacité à réduire l'incertitude, et une étude bon marché mais faible est souvent le pire achat.
4. Une information parfaite ramènerait la probabilité d'erreur à zéro; sa valeur est donc CHF. Ce nombre est utile comme plafond de négociation: aucune étude, si complète soit-elle, ne peut valoir davantage, et une proposition à CHF 500 000 serait à rejeter sans même en discuter la méthode.
Deux raisons de se méfier du : d'abord, c'est le vendeur qui l'annonce, et il est juge et partie — il faudrait exiger sur quoi cette réduction repose (des implantations comparables analysées après coup, par exemple). Ensuite, cette probabilité résume implicitement le fait que l'entreprise agira en fonction du résultat, c'est-à-dire renoncera si l'étude est défavorable; si la direction a déjà décidé d'ouvrir quoi qu'il arrive, et l'étude ne vaut rigoureusement rien, quelle que soit sa qualité.
Pour chacune des cinq questions ci-dessous, extraites d'un projet de questionnaire de Cyclo Léman: nommez le ou les biais, expliquez en une phrase pourquoi la réponse serait faussée, et proposez une rédaction corrigée (question et modalités).
- «Ne pensez-vous pas qu'un vélo assemblé en Suisse justifie un prix plus élevé?»
- «Notre service après-vente est-il rapide et compétent? Oui / Non»
- «Combien de kilomètres avez-vous parcourus à vélo au cours des trois dernières années?»
- «Faites-vous réviser votre vélo chaque année, comme le recommandent les professionnels?»
- «Quel est votre revenu annuel brut du ménage?» (première question du questionnaire, obligatoire)
Solution
1. Question orientée (forme négative suggestive, et justification incorporée à la question). La formulation «ne pensez-vous pas» presse le répondant d'acquiescer, et l'argument «assemblé en Suisse» est donné avant que l'opinion soit exprimée. Correction: séparer l'évaluation du prix de la connaissance de l'origine.
«Comment jugez-vous le prix de ce vélo? Beaucoup trop élevé / un peu trop élevé / correct / avantageux / sans opinion.»
Et, plus loin dans le questionnaire seulement: «Ce vélo est assemblé en Suisse. Cette information modifie-t-elle votre jugement sur son prix? Oui, favorablement / non / oui, défavorablement.»
2. Double question (double-barrelled), aggravée par des modalités binaires. Un client servi rapidement par un technicien incompétent ne peut répondre ni oui ni non, et sa réponse — quelle qu'elle soit — sera ininterprétable. Correction: deux questions distinctes sur des échelles graduées.
«Le délai de prise en charge de votre réparation vous a paru: très court / plutôt court / plutôt long / très long.» «La compétence du personnel vous a paru: très bonne / plutôt bonne / plutôt faible / très faible.»
3. Biais de mémoire. Personne ne connaît son kilométrage sur trois ans; les répondants produiront une estimation grossière, arrondie et systématiquement biaisée vers le haut chez les cyclistes engagés. Correction: période courte et récente, avec des tranches.
«Au cours des sept derniers jours, combien de trajets avez-vous effectués à vélo? Aucun / 1 à 2 / 3 à 5 / 6 à 10 / plus de 10.»
Si la mesure annuelle est indispensable, on peut aussi relever le compteur du vélo ou l'affichage de l'application, c'est-à-dire remplacer le souvenir par une donnée.
4. Désirabilité sociale, renforcée par une norme explicitement citée («comme le recommandent les professionnels»), et acquiescement. Le répondant sait quelle réponse est la «bonne». Correction: supprimer la norme, porter la question sur un fait daté et offrir des modalités qui ne condamnent personne.
«Quand votre vélo a-t-il été révisé pour la dernière fois par un professionnel? Il y a moins de 6 mois / de 6 à 12 mois / de 1 à 2 ans / il y a plus de 2 ans / jamais / je ne sais pas.»
5. Non-réponse et abandon. Une question sur le revenu, ouverte, obligatoire et placée en tête provoque des abandons massifs et des refus — et les abandons ne sont pas aléatoires: les hauts et les bas revenus refusent davantage, ce qui biaise toute la structure de l'échantillon. Correction: déplacer la question à la fin du questionnaire, proposer des tranches et une sortie explicite.
(En fin de questionnaire) «Pour situer vos réponses, dans quelle tranche se situe le revenu annuel brut de votre ménage? Moins de CHF 60 000 / CHF 60 000 à 100 000 / CHF 100 000 à 150 000 / plus de CHF 150 000 / je préfère ne pas répondre.»
Contrôle final. Ces cinq corrections partagent trois principes: une seule information par question; un fait daté et récent plutôt qu'un jugement général; des modalités équilibrées, exhaustives et sans réponse socialement obligatoire. Il reste à les soumettre au pré-test, seul juge de leur clarté réelle.
Pour chacun des trois problèmes de décision suivants, indiquez: (a) le problème d'étude correspondant, (b) la méthode que vous retenez (source secondaire, qualitatif, quantitatif, expérimentation) et pourquoi, (c) un élément de dimensionnement (taille, durée ou budget), (d) la principale limite de votre choix.
- Cyclo Léman constate que les ventes du Léman Cargo stagnent en Suisse alémanique alors qu'elles progressent en Suisse romande. Faut-il adapter le produit, le prix, le discours, ou renoncer à cette région?
- L'entreprise hésite entre deux prix publics pour un nouveau modèle urbain: CHF 2 490 ou CHF 2 790.
- La direction veut savoir si le marché suisse du vélo électrique est encore en croissance avant de décider d'un investissement industriel de CHF 3 millions.
Solution
1. Comprendre un écart régional.
(a) Problème d'étude: quels freins à l'achat et à la mise en avant du vélo cargo expriment les détaillants et les clients alémaniques, et en quoi diffèrent-ils de ceux des Romands?
(b) Méthode: qualitatif d'abord, parce que la question est un «pourquoi» et que l'on ne connaît même pas les hypothèses à tester. Concrètement: dix à douze entretiens semi-directifs avec des détaillants alémaniques (dont plusieurs qui ne référencent pas le modèle) et deux entretiens de groupe avec des clients cyclistes urbains à Zurich et à Berne, plus une observation en magasin (shop-along) pour voir comment le produit est présenté — ou ignoré. Il faut aussi commencer par les données internes: ventes par détaillant, formation reçue, présence en vitrine.
(c) Dimensionnement: environ douze entretiens par groupe de détaillants, jusqu'à saturation; deux à trois semaines de terrain; budget de l'ordre de CHF 30 000 à 50 000, à comparer au chiffre d'affaires en jeu.
(d) Limite: aucune proportion n'en sortira. Si la direction veut ensuite savoir combien de détaillants alémaniques partagent le frein identifié, il faudra une seconde phase quantitative auprès de la base complète des détaillants — laquelle, étant petite, se prête à un recensement plutôt qu'à un sondage.
2. Choisir entre deux prix.
(a) Problème d'étude: quelle est la différence de volume et de marge entre un prix de CHF 2 490 et un prix de CHF 2 790, toutes choses égales par ailleurs?
(b) Méthode: expérimentation, seule méthode qui mesure un comportement d'achat réel plutôt qu'une intention déclarée. Un test A/B sur la boutique en ligne (les visiteurs sont affectés aléatoirement à l'un des deux prix affichés, à parts égales) ou un test en magasin dans deux ensembles de détaillants comparables. Un sondage d'intention («achèteriez-vous à CHF 2 790?») serait ici clairement inférieur: sur le prix, le déclaratif est particulièrement peu fiable.
(c) Dimensionnement: la quantité à comparer est un taux de conversion faible. Avec un taux de base voisin de et un écart de point à détecter, il faut de l'ordre de visiteurs par branche, donc environ visiteurs au total et plusieurs semaines de trafic. Il faut le calculer avant de lancer le test, sans quoi l'on conclut sur du bruit.
(d) Limites: trois. Le test A/B en ligne ne renseigne que sur le canal en ligne ( du chiffre d'affaires) et sur ses visiteurs, qui ne sont pas les clients des détaillants. Afficher deux prix différents simultanément pose un problème d'équité et de réputation s'il devient visible. Enfin, l'expérience mesure un effet de court terme et ne dit rien de l'effet du prix sur l'image de la marque, qui se construit sur des années (chapitre 9).
3. Le marché est-il en croissance?
(a) Problème d'étude: quelle a été l'évolution des volumes et de la valeur du marché suisse du vélo électrique au cours des cinq dernières années, et quels facteurs soutiennent ou freinent la tendance?
(b) Méthode: sources secondaires, sans hésitation. Statistique douanière des importations par position tarifaire (série longue, définition stable), volumes publiés par l'association de branche, rapports annuels des distributeurs, données de l'OFS sur la mobilité, plus une veille sur la réglementation (limites de vitesse, subventions communales et cantonales, obligations d'équipement). Une étude primaire serait ici absurde: le chiffre existe déjà et personne ne peut estimer un marché national par sondage à ce niveau de précision.
(c) Dimensionnement: quelques jours de travail d'analyse, coût quasi nul; éventuellement l'achat d'une étude de branche existante pour quelques milliers de francs.
(d) Limite: les données publiées ont douze à dix-huit mois de retard et les définitions varient d'une source à l'autre (vélos rapides inclus ou non, importations distinguées des ventes finales, stocks des distributeurs). Il faut donc les recouper, énoncer le périmètre retenu, et compléter par quelques entretiens avec des importateurs pour l'année en cours. Pour un investissement de CHF 3 millions, un tel recoupement — et l'explicitation des définitions — vaut largement les quelques jours qu'il coûte.
Une agence remet à Cyclo Léman le rapport suivant.
«Étude d'intention d'achat, mars N. Un questionnaire a été publié sur la page Facebook et la newsletter de la marque, ainsi que sur deux forums de cyclistes. personnes y ont répondu en deux semaines. des répondants déclarent avoir l'intention d'acheter un vélo électrique dans les douze mois, et citent Cyclo Léman comme leur première marque. Avec répondants, la marge d'erreur est de points. Conclusion: le marché romand est prêt et notre marque est leader; nous recommandons de doubler la production.»
- Énumérez tout ce qui interdit de tirer la conclusion annoncée. Classez vos critiques par gravité.
- La marge d'erreur annoncée est-elle correctement calculée? Est-elle pertinente?
- Que feriez-vous à la place, concrètement? Proposez un dispositif complet: population, base de sondage, méthode, taille, mode de collecte, questions clés, et ce que vous accepteriez de conclure.
- Rédigez, en trois phrases, la recommandation que vous remettriez effectivement à la direction en l'état actuel des informations.
Solution
1. Ce qui interdit la conclusion.
Gravité maximale — l'échantillon ne représente rien. La base de sondage est constituée des abonnés de la marque et de forums de passionnés: on a interrogé les gens les plus favorables au vélo électrique et à Cyclo Léman qui existent en Suisse. À cette erreur de couverture s'ajoute une auto-sélection totale (seuls répondent les motivés) et un conflit de finalité: on demande à des fans de la marque de nommer leur marque préférée. Les de citations ne mesurent pas une part de marché mais la composition de l'audience de la page. Rappelons que la part de marché réelle de l'entreprise est de l'ordre de : l'écart entre et mesure exactement l'ampleur du biais.
Gravité élevée — l'intention n'est pas l'achat. Même auprès d'un échantillon correct, d'intentions déclarées ne se traduisent jamais par d'achats: déclarer ne coûte rien, et l'échelle d'intention doit être transformée par des coefficients calibrés sur l'historique de l'entreprise. Une intention à douze mois, non contrainte par un prix ni par un budget, est proche du souhait.
Gravité élevée — le saut de l'étude à la décision. «Doubler la production» est une décision industrielle qui dépend de la capacité, des coûts fixes, des délais fournisseurs et de la concurrence, et non d'un pourcentage d'intentions. Le rapport enjambe l'analyse économique.
Gravité moyenne — les défauts d'exécution. Aucune information n'est donnée sur le taux de réponse (impossible à calculer ici, puisque le nombre d'invités est inconnu), sur les doublons, sur la durée d'exposition du questionnaire, sur la formulation exacte des questions ni sur l'ordre dans lequel elles ont été posées — alors qu'un questionnaire hébergé sur la page de la marque induit mécaniquement un effet de contamination sur la citation spontanée.
2. La marge d'erreur. Le calcul est arithmétiquement exact: , soit points. Il est méthodologiquement sans objet. La formule (3.2) suppose un tirage aléatoire dans la population cible; ici, il n'y a eu aucun tirage. La marge d'erreur ne mesure que la variabilité due au hasard de l'échantillonnage, et non l'erreur de couverture, l'auto-sélection ou la non-réponse — qui sont ici d'un ordre de grandeur infiniment supérieur. Annoncer points sur un échantillon auto-sélectionné donne une apparence de précision à un chiffre faux: c'est la plus trompeuse des deux erreurs, parce qu'elle rassure.
3. Le dispositif que je proposerais.
- Population cible: personnes de 18 à 74 ans domiciliées en Suisse romande, effectuant au moins un trajet hebdomadaire à vélo ou envisageant de le faire.
- Base de sondage: un panel probabiliste d'un institut établi, avec quotas croisés région × âge × sexe, explicitement distinct de toute liste liée à la marque.
- Méthode: échantillon aléatoire stratifié par canton, avec des effectifs suffisants dans chaque strate si l'on veut comparer les cantons (voir la question 4 du problème guidé: personnes par canton ne distinguent qu'un écart de points).
- Taille: répondants pour une marge de points à , ou pour se donner de la marge sur les sous-groupes. Coût de l'ordre de CHF 13 000 à 15 000, à comparer au montant en jeu dans la décision de production selon le théorème 3.1.
- Mode de collecte: en ligne sur panel, avec relances; taux de réponse exigé et publié.
- Questions clés: notoriété spontanée puis assistée (dans cet ordre, et avant toute mention de la marque); intention d'achat sur une échelle en cinq positions avec un prix affiché; budget maximal envisagé; freins; canal d'achat envisagé; usage actuel. La marque commanditaire n'est jamais nommée avant la fin.
- Ce que j'accepterais de conclure: une estimation de la proportion d'acheteurs potentiels à un prix donné, avec son intervalle de confiance, et une hiérarchie des freins. Rien de plus. En particulier, aucune conclusion sur les volumes de vente de Cyclo Léman, qui dépendent de la distribution et de la concurrence — et, idéalement, une validation du potentiel par un test réel (test de marché sur quelques cantons) avant tout engagement industriel.
4. La recommandation à remettre. «Cette étude ne permet aucune conclusion sur le marché romand: elle a interrogé l'audience de notre propre marque, ce qui explique à lui seul les de citations, alors que notre part de marché réelle est de l'ordre de . Nous recommandons de ne prendre aucune décision de production sur cette base et de commander un sondage sur panel probabiliste de personnes, pour une marge de points à et un budget de l'ordre de CHF 15 000. Compte tenu du montant de l'investissement envisagé, ce délai de six semaines et cette dépense sont très inférieurs au coût d'une décision erronée.»
Références
- Malhotra, N. K., Décaudin, J.-M., Bouguerra, A. et Bories, D., Études marketing, 7e éd., Pearson, Montreuil — référence complète sur le processus d'étude, l'échantillonnage et le questionnaire.
- Kotler, P., Keller, K. L. et Manceau, D., Marketing management, 16e éd., Pearson, Montreuil, chapitre consacré à la collecte d'informations et à la mesure de la demande.
- Lendrevie, J. et Lévy, J., Mercator. Tout le marketing à l'ère de la data et du digital, Dunod, Paris, partie «Études et connaissance des marchés».
- Kotler, P. et Armstrong, G., Principes de marketing, Pearson, Montreuil — présentation accessible du système d'information marketing.
- Office fédéral de la statistique (OFS), Neuchâtel: enquête sur le budget des ménages, statistique structurelle des entreprises, microrecensement mobilité et transports; et statistique du commerce extérieur de l'Office fédéral de la douane et de la sécurité des frontières (base Swiss-Impex).
- Préposé fédéral à la protection des données et à la transparence (PFPDT), Guide relatif à la nouvelle loi fédérale sur la protection des données (nLPD), Berne, en vigueur depuis le 1er septembre 2023.