CFI, l’agence française de développement médias, et le Ministère de l’Europe et des Affaires Etrangères (MEAE) souhaitent procéder à l’évaluation finale externe du projet régional dénommé « EXPRESSIONS BALKANIQUES ». Ce projet a été conçu par les conseillers de coopération et d’action culturelle des ambassades de France des Balkans occidentaux (Albanie, Bosnie-Herzégovine, Kosovo, Macédoine du nord, Monténégro, Serbie), la DCERR/CM et CFI, et mis en œuvre par CFI depuis février 2020 jusqu’en mai 2022 (27 mois au total). Il est doté d’un budget de 676 500€ en provenance du Ministère de l’Europe et des Affaires Etrangères (FSPI[1] régional n°2020-85 porté par l’Ambassade de France en Albanie).
Ce FSPI régional vise à permettre à une nouvelle génération de jeunes talents de se réapproprier son expression médiatique, d’exprimer ses imaginaires et ses identités autour de sa vie quotidienne autant qu’autour de l’histoire de sa société et de sa nation, en s’émancipant des « assignations à résidence » nationalistes, et ce dans chaque pays : Albanie, Bosnie-Herzégovine, Kosovo, Macédoine du nord, Monténégro, Serbie. Il est conçu pour répondre à trois grandes problématiques :
Ø Sensibiliser à l’image et à ce qu’elle raconte (comprendre la création de récits, la désinformation, l’infox (fake news), « l’information alternative ») ;
Ø Développer l’esprit critique et la vigilance par rapport à des discours de division, voire de haine ;
Ø Alimenter une « fabrique d’imaginaires ouverts » en soutenant la réalisation de créations audiovisuelles, numériques ou papier, où les jeunes se racontent sur un mode documentaire ou fictionnel.
Le projet « Expressions Balkaniques » a pour objectif principal de donner à la jeunesse des Balkans occidentaux des outils pour s’exprimer de manière ouverte sur des sujets qui la motivent dans chaque pays.
Cet objectif principal est décliné en 3 objectifs spécifiques ou composantes, ainsi formulés :
1) Développer l’esprit critique des jeunes par rapport aux médias ;
2) Renforcer les compétences des nouveaux acteurs et actrices médiatiques et des influenceurs et influenceuses ;
3) Développer des productions audiovisuelles et numériques permettant aux jeunes de raconter leurs réalités.
De plus, une composante de management du projet – Activités transversales - est également mentionnée dans la note de présentation de ce FSPI.
Cette évaluation finale externe doit fournir à CFI et au MEAE une analyse critique et objective de la conception, de la mise en œuvre et de l’impact du projet, ainsi que des recommandations pour la conception et la mise en œuvre d’un futur projet « FSPI » qui s’inscrirait dans la lignée de ce dernier, tout en répondant aux nouveaux enjeux et besoins identifiés au long du projet et grâce aux résultats d’« Expressions Balkaniques ».
[1] Fonds de solidarité pour les projets innovants, les sociétés civiles, la francophonie et le développement humain.
L’évaluation finale externe vise à :
Ø évaluer le projet « EXPRESSIONS BALKANIQUES » au travers des critères CAD de pertinence, cohérence, d’efficacité, d’efficience, d’effets, d’impact et de durabilité ;
Ø mesurer le niveau d’atteinte des objectifs initialement fixés ;
Ø apprécier les résultats obtenus à court et moyen termes sur un échantillon représentatif de bénéficiaires direct.es, indirect.es et finaux du projet ; tirer des enseignements et proposer des recommandations d’ordre stratégique et opérationnel (notamment en termes d’objectifs, de modes opératoires et de champs d’intervention) à privilégier dans la perspective d’un futur projet « FSPI » qui s’inscrirait dans la lignée de ce dernier, tout en répondant aux nouveaux enjeux et besoins identifiés au long du projet et grâce aux résultats d’« Expressions Balkaniques ».
Ø identifier de manière prospective les besoins et les opportunités d’appui des groupes cibles visés par ce projet.
Les principales questions évaluatives pourraient être les suivantes :
A. En termes de pertinence et de cohérence :
A.1. Le projet, tel qu’il a été conçu, notamment dans le choix des pays, des partenaires de mise en œuvre et institutionnels, des bénéficiaires direct.es et des activités, était-il pertinent pour atteindre les objectifs poursuivis, principal et spécifiques ?
A.2. Les activités mises en œuvre au cours du projet ont-elles permis de répondre aux besoins des bénéficiaires direct.es ? En particulier, l’outil spécifiquement développé dans le projet, à savoir la plateforme de sensibilisation à l’éducation aux médias et à l’information Talmil, a-t-il permis de répondre aux besoins des bénéficiaires direct.es, notamment grâce son ergonomie et ses contenus proposés en langues locales ? Les masterclasses répondaient-elles aux besoins de renforcement de compétences des étudiant.es en journalisme et communication ? Les formations au décryptage de l’information répondaient-elles aux besoins de sensibilisation aux médias et à l’information des jeunes en âge scolaire ? La conférence régionale, les ateliers et la semaine d’incubation à Paris, ainsi que l’accompagnement individualisé permettaient-ils de répondre aux besoins des jeunes blogueurs et blogueuses, et influenceurs et influenceuses ? Les ateliers dans des écoles de cinéma, le séminaire régional et les partenariats avec les écoles de cinéma et audiovisuel des 6 pays ont-ils permis de répondre aux besoins de jeunes étudiant.es en écoles de cinéma, cinéastes et vidéastes ? Le soutien financier à un projet répondait-il aux besoins des jeunes professionnel.les du milieu du cinéma des 6 pays ? Le soutien à l’écriture collective d’une série et la réalisation d’un pilote à deux partenaires était-il pertinent et a-t-il répondu aux besoins du public ciblé, notamment les bénéficiaires indirect.es ?
A.3. Les objectifs poursuivis par le projet sont-ils toujours d’actualité ?
A.4. Les objectifs fixés par le projet étaient-ils réalistes et atteignables ?
A.5. La structure logique du projet était-elle basée sur des relations de cause à effets solides ? Les objectifs à atteindre étaient-ils cohérents entre eux ? Les activités prévues permettaient-elles d’atteindre les objectifs opérationnels et les résultats attendus, dans le chronogramme et avec les moyens humains et financiers envisagés ? Le projet a-t-il pris en compte les particularités des contextes locaux de chacun de ces 6 pays ?
A.6. L’approche Genre du projet[1] est-elle pertinente et cohérente par rapport aux objectifs du projet et à la stratégie internationale de la France pour l’égalité entre les femmes et les hommes (2018-2022) ? Le projet a-t-il veillé à la promotion de l’égalité femmes hommes et à la prise en compte des attentes et des besoins spécifiques des femmes, notamment à travers le choix et le nombre (parité) des intervenant.es expert.es formateurs et formatrices, des bénéficiaires direct.es, le choix des sujets traités et étudiés et l’angle de traitement de ces sujets ? L’approche genre a-t-elle été prise en compte dans la conception et la mise en œuvre de la plateforme Talmil ?
A.7. Le projet a-t-il pris en compte les autres projets développés par d’autres bailleurs ou opérateurs sur le même secteur et concourant au même objectif général de donner à la jeunesse des Balkans occidentaux des outils pour s’exprimer de manière ouverte sur des sujets qui la motivent dans chaque pays ? Les bénéficiaires direct.es ont-ils bénéficié d’autres appuis (sous forme de coopération ou sous forme commerciale) de la part d’autres organismes, répondant aux mêmes besoins de renforcement de leurs compétences pour les aider à produire des contenus permettant aux jeunes de raconter leurs réalités dans chacun des pays d’intervention ?
B. En termes d’efficacité :
B.1. Les objectifs du projet, à savoir donner à la jeunesse des Balkans occidentaux des outils pour s’exprimer de manière ouverte sur des sujets qui la motivent dans chaque pays et plus spécifiquement, de développer l’esprit critique des jeunes par rapport aux médias, de renforcer les compétences des nouveaux acteurs et actrices médiatiques et des influenceurs et influenceuses et de développer des productions audiovisuelles et numériques permettant aux jeunes de raconter leurs réalités, ont-ils été atteints ou sont-ils susceptibles de l’être ? La plateforme Talmil a-t-elle permis de renforcer les compétences des bénéficiaires direct.es en termes de renforcement de l’esprit critique des étudiant.es et lycéen.nes de la région ? Les masterclasses ont-elles permis de développer l’esprit critique chez les étudiant.es en journalisme et communication ? Les formations au décryptage de l’information ont-elles permis de développer l’esprit critique aux médias et à l’information des jeunes en âge scolaire ? La conférence régionale, les ateliers et la semaine d’incubation à Paris, ainsi que l’accompagnement individualisé ont-ils permis de renforcer les compétences des jeunes blogueurs et blogueuses, et influenceurs et influenceuses ? Les ateliers dans des écoles de cinéma, le séminaire régional et les partenariats avec les écoles de cinéma et audiovisuel des 6 pays ont-ils permis de développer de nouvelles productions audiovisuelles permettant aux jeunes de raconter leurs réalités ? Le soutien financier à un projet audiovisuel réalisé par des jeunes professionnels des 6 pays, comprenant l’écriture collective d’une série et la réalisation d’un pilote, a-t-il effectivement été mis en place avant la fin du projet ? Ce soutien financier a-t-il permis la réalisation de nouvelles productions racontant la réalité des jeunes de la région des Balkans ? Le soutien financier à deux partenaires a-t-il permis l’écriture collective d’une série et la réalisation d’un pilote évoquant la réalité des jeunes de la région ?
B.2. Quelles ont été les principales raisons de la réalisation ou de la non-réalisation de ces objectifs ?
B.3. Les activités menées sont-elles jugées utiles et de qualité par les bénéficiaires direct.es ?
B.4. Les bénéficiaires direct.es des activités ont-ils réussi à s’approprier et à mettre en œuvre de manière concrète les enseignements, conseils, recommandations prodiguées par les expert.es intervenant.es en charge d’apporter les différents appuis en termes de compétences journalistiques générales et spécialisées ? Les formations spécialisées, notamment la conférence et les ateliers régionaux, ainsi que le séminaire d’incubation à Paris ont-elles permis un meilleur transfert de compétences entre les formateurs et formatrices, les expert.es et les bénéficiaires et une meilleure appropriation de celles-ci ? Ont-elles eu les effets attendus en termes de développement professionnel des bénéficiaires et d’atteinte des résultats pour la production de contenus audiovisuels ou numériques permettant aux jeunes de raconter leurs réalités ?
C. En termes d’efficience :
C.1. Les activités menées, le déploiement de la plateforme Talmil, les masterclasses et ateliers d’éducation aux médias, la conférence et ateliers régionaux, la semaine d’incubation et l’accompagnement de bénéficiaires direct.es, les ateliers et partenariats avec les écoles de cinéma ainsi que le soutien financier à des productions, à l’écriture de script de série et la réalisation de leur pilote ont-elles été réalisées telles qu’initialement prévues, dans le chronogramme et les conditions initiaux, dans chacun des 6 pays ? Dans le cas contraire, et en particulier au regard de la crise sanitaire, quelles ont été les mesures correctives mises en œuvre et leurs justifications ?
C.2. Le projet a-t-il mobilisé les ressources matérielles, financières et humaines prévues et appropriées, au regard du chronogramme et des contraintes externes ?
C.3. Comment s’est déroulée la coordination et le pilotage conjoint entre CFI, le MEAE, les ambassades de France, et les autres parties prenantes, à savoir les partenaires de mise en œuvre, les partenaires institutionnels, les formateur et formatrices, les expert.es, les bénéficiaires direct.es du projet ?
C.4. La communication autour du projet a-t-elle atteint ses objectifs ? A-t-elle permis une bonne visibilité des objectifs du projet et de ses activités auprès des publics ciblés ?
C.5. De quelle manière ont été gérés les besoins spécifiques à de chaque groupe de bénéficiaires cibles dans chaque pays par CFI et par les formateurs formatrices et expert.es ?
D. En termes d’effets, d’impact et de durabilité :
D.1. Le projet a-t-il eu les effets attendus sur les bénéficiaires direct.es ? A-t-il permis de donner à la jeunesse des Balkans occidentaux des outils pour s’exprimer de manière ouverte sur des sujets qui la motivent dans chaque pays ? Les activités menées ont-elles permis aux jeunes ciblés dans le projet de développer leur esprit critique face aux médias et à l’information, d’être davantage sensibilisés à l’image ? Les nouveaux acteurs et actrices média et influenceurs et influenceuses bénéficiaires ont-ils réussi à renforcer leurs compétences ? Les jeunes talents impliqués dans le projet ont-ils réussi à développer leurs capacités pour écrire et produire des formats audiovisuels numériques et papier leur permettant de décrire leurs réalités ?
D.2. Le projet a-t-il permis de faire émerger un savoir-faire et des bonnes pratiques particuliers auprès des étudiant.es en journalistes et blogueur et blogueuses bénéficiaires du projet ? Quelles sont les évolutions majeures et durables auprès de ces bénéficiaires en termes de montée en compétences dans les pratiques du journalisme et le développement de leur média ? Les productions des bénéficiaires formé.es rencontrent-elles leur public et voient-elles leur audience accrue ?
D.3. Quel est le taux de fréquentation de la plateforme pédagogique Talmil à la fin du projet et permet-elle une appropriation durable des contenus proposés ?
D.4 Les bénéficiaires finaux du projet que sont les usagers des médias numériques ayant bénéficié du projet dans ces 6 pays, ont-ils perçu une évolution dans les contenus diffusés depuis le début du projet ? si oui, laquelle (amélioration de l’offre éditoriale, amélioration de l’accessibilité des articles, etc…) ?
D.5. Le projet a-t-il permis de produire des contenus permettant aux jeunes de raconter leurs réalités, et notamment, de produire un contenu audiovisuel, numérique et interactif relatif à des thèmes qui fédèrent et/ou interpellent la jeunesse, ainsi que l’écriture collective d’une série et la réalisation d’un pilote ?
Les recommandations et préconisations attendues :
A partir des enseignements tirés de son analyse et de comparaisons par rapport à d’autres méthodes d’intervention mobilisées sur des projets similaires, l’équipe d’évaluation formulera des recommandations stratégiques, méthodologiques et opérationnelles pour donner des pistes de réflexion en vue de l’élaboration d’un futur projet qui visera un objectif général similaire et déterminera un objectif spécifique en lien avec les priorités politiques de la France ou de l’UE pour cette partie de l’Europe et à la lumière des évolutions récentes du contexte politique et social.
[1] Projet marqueur Genre 1 : la réduction des inégalités de genre est un objectif significatif du projet (approche transversale)
Pour réaliser cette évaluation, le cabinet d’évaluation s’appuiera notamment sur les documents que CFI, le MEAE et les ambassades de France dans les 6 pays mettront à sa disposition (voir annexe 2).
Grâce à cette étude documentaire, le cabinet d’évaluation mènera ensuite des entretiens auprès des différentes parties prenantes du projet à évaluer, en présentiel et/ou par téléphone, à savoir CFI (4 personnes), au MEAE (centrale et Ambassades de France locales, 8 personnes au moins), les partenaires de mise en œuvre, les formateur.trices, les expert.es qui sont intervenu.es au cours du projet (50 personnes), ainsi que les bénéficiaires direct.es (étudiant.es en journalisme, jeunes journalistes et blogueurs et blogueuses) des activités déployées dans le cadre du projet, (près de 1300 personnes) (voir liste en annexe 2).
Le cabinet d’évaluation tentera également de mesurer l’impact du projet par une enquête auprès d’un échantillon de bénéficiaires finaux du projet, à savoir les usagers des médias numériques dans ces 6 pays.
Le cabinet d’évaluation enquêtera également auprès de certains nouveaux médias et/ou journalistes dans les 6 pays de la région, qui pourraient éventuellement être bénéficiaires d’un nouveau projet, pour évaluer de manière prospective leurs problématiques face à la couverture des sujets touchant les sujets de société, dont l’écologie, le genre, mémoires et identités.
Enfin, dans le cadre du benchmark, le cabinet d’évaluation enquêtera également auprès des principaux bailleurs et opérateurs de mise en œuvre français et étrangers, travaillant avec les jeunes journalistes des nouveaux médias des 6 pays de la région, pour connaître leurs axes de travail et leurs propres réponses aux problématiques identifiées, à savoir la formation et l’accessibilité de la jeunesse aux outils lui permettant de s’exprimer de manière ouverte sur des sujets qui la motivent dans chaque pays.
Organisation de l'évaluation
Un comité de pilotage de l’évaluation sera mis en place, composé d’un ou d’une représentante du MEAE, des ambassades de France concernées et pour CFI, du Directeur ou de la Directrice adjointe de la direction Méditerranée-Asie, de la Responsable du projet « EXPRESSIONS BALKANIQUES » et de la Chargée de mission évaluation qualité.
Il procèdera à la sélection du cabinet évaluateur, ci-dessous désigné sous le terme « cabinet d’évaluation ». Il se réunira avec le cabinet d’évaluation sélectionné pour examiner les différents livrables, formuler des observations et/ou les valider. La Chargée de mission évaluation qualité à CFI sera l’interlocutrice principale du cabinet d’évaluation. Elle assurera l’organisation des réunions du comité de pilotage. Elle sera destinataire des livrables indiqués ci-dessous et en assurera la diffusion auprès des membres du comité de pilotage. La Responsable du projet viendra en soutien de la Chargée de mission évaluation qualité.
Le cabinet d’évaluation sera sélectionné selon son approche méthodologique et sa compréhension de l’objet de l’évaluation, sa connaissance du secteur des nouveaux médias, des écoles de journalisme et d’audiovisuel, du monde des blogueurs et blogueuses, des influenceurs et influenceuses, ainsi que des moyens de communication et de production utilisés par les jeunesses dans la région des Balkans occidentaux, notamment dans les 6 pays concernés par le projet (Albanie, Bosnie-Herzégovine, Kosovo, Macédoine du nord, Monténégro, Serbie), ainsi que son offre financière. L’intégration dans l’équipe d’évaluation d’au moins une personne ayant comme langue maternelle ou langue d’usage au moins une des langues locales, sera fortement appréciée. Les entretiens et les enquêtes auprès des bénéficiaires direct.es, indirect.es et finaux seront réalisés en français, en anglais et/ou en langues locales pour permettre une meilleure compréhension des personnes interrogées.
Par ailleurs, une composition paritaire de l’équipe d’évaluation et/ou une valorisation de l’expertise féminine composant celle-ci sera appréciée.
Le choix du cabinet d’évaluation se fera grâce à une grille d’évaluation préalablement déterminée.
La langue de communication utilisée dans le cadre de cette évaluation sera le français.
L’évaluation se déroulera en quatre phases :
Phase 1 - Cadrage de l’étude : cette phase, qui commence par une réunion de cadrage qui a lieu en présentiel à CFI ou à distance, si les conditions sanitaires ne le permettent pas, est destinée à un échange entre le cabinet d’évaluation sélectionné et le comité de pilotage pour apporter les précisions utiles sur les attentes de CFI, du MEAE et des ambassades de France impliquées, sur le matériel remis à cette occasion au cabinet d’évaluation (documentation, liste des contacts pour les entretiens et les questionnaires), sur l’organisation générale de l’évaluation et la présentation des divers livrables. Dans la perspective de la rédaction de la note de cadrage, pour compléter sa compréhension des attentes des commanditaires, le cabinet d’évaluation conduit lors de cette phase les premiers entretiens auprès des principaux responsables de CFI, du MEAE et des ambassades de France impliquées, qui ont conçu et suivi le projet.
¤ Livrable : Note de cadrage : après la réunion de cadrage et l’étude des principaux documents, le cabinet d’évaluation remet à la Chargée de mission évaluation qualité une note de cadrage (de 8 à 10 pages) dans laquelle :
. il résume les objectifs et la problématique de l’évaluation,
. il révise et précise si nécessaire sa matrice d’évaluation et le type d’investigation qu’il compte réaliser (trame d’entretien en fonction des parties prenantes, type d’enquête, auprès de qui…).
Délai : Cette note est envoyée à la Chargée de mission évaluation qualité dans un délai d’une semaine à compter de la date de la réunion de cadrage.
Validation : Si nécessaire, la note de cadrage est présentée par le cabinet d’évaluation au cours d’une réunion avec le comité de pilotage, qui la valide et formule ses observations.
Phase 2 - Etude documentaire, entretiens en présentiel et/ou à distance avec CFI, le MEAE, les Ambassades de France impliquées et les principales parties prenantes du projet et conception des outils d’enquête auprès des différents types de bénéficiaires direct.es et finaux : le cabinet d’évaluation étudie les documents remis par CFI, le MEAE et les ambassades de France impliquées en phase 1, ainsi que ceux qui pourraient lui être remis au cours des entretiens en phase 2 ; il poursuit les entretiens à partir de la liste des contacts qui lui sera remise dès la notification du marché, auprès des responsables de CFI, du MEAE et l’ambassade de France en Albanie, qui ont conçu et mis en œuvre le projet, ainsi que des ambassades de France des 5 autres pays et des partenaires de mise en œuvre locaux et des expert.es intervenant.es mandaté.es par CFI (50 personnes environ au total).
Les outils d’enquête notamment les différents types de questionnaire qui seront administrés à distance par téléphone et/ou en ligne, en fonction des différents types de bénéficiaires direct.es et finaux seront proposés par le cabinet d’évaluation et validés par le comité de pilotage, préalablement à la phase 3.
Si nécessaire, une réunion de débriefing du cabinet d’évaluation avec le comité de pilotage sera organisée, pour valider la phase 2.
Phase 3 – Enquête sur le terrain dans les 6 pays concernés par le projet (Albanie, Bosnie-Herzégovine, Kosovo, Macédoine du nord, Monténégro, Serbie**) via des entretiens en présentiel (si cela est possible) et des questionnaires à distance (téléphone et/ou en ligne) auprès des différents types de bénéficiaires direct.es, (et si possible une sélection de bénéficiaires finaux) du projet** : au cours de cette phase, le cabinet d’évaluation procède au recueil d’informations, via des entretiens individuels en présentiel (quand et si cela est possible) ou à distance et/ou des questionnaires administrés en ligne, auprès des bénéficiaires direct.es du projet, à savoir à savoir les étudiant.es en journalisme et communication, les jeunes blogueurs et blogueuses, et influenceurs et influenceuses et les jeunes étudiant.es en écoles de cinéma, cinéastes et vidéastes, qui ont bénéficié des formations CFI, dans chacun des 6 pays (environ 400 personnes).**
Lors de la phase 3, le cabinet d’évaluation est aussi encouragé à mener, dans la mesure du possible, une enquête qualitative auprès d’un échantillon de bénéficiaires finaux du projet, à savoir les usagers des médias numériques et les jeunes dans ces 6 pays, par exemple sous forme d’un questionnaire en ligne diffusé ou d’une autre méthodologie qu’il précisera, afin de mesurer l’impact du projet.
Dans le cadre du benchmark et de la réflexion prospective, le cabinet d’évaluation s’efforcera également d’interroger d’autres professionnel.les des médias en ligne de ces 6 pays, ainsi que des représentant.es des bailleurs et des opérateurs intervenant dans les secteurs de l’aide au développement des médias et d’émancipation de la jeunesse dans la région des Balkans occidentaux, pour connaître leurs axes de travail et leurs propres réponses aux problématiques identifiées.
Tous les rendez-vous en présentiel ou téléphoniques seront organisés par le cabinet d’évaluation, en individuel, ou en groupe, selon la méthodologie qui sera détaillée dans son offre technique. Les questionnaires auprès des différents types de bénéficiaires direct.es, - et dans la mesure du possible sur un échantillon de bénéficiaires finaux - seront rédigés et administrés par le cabinet d’évaluation selon des méthodologies qu’il détaillera dans son offre technique.
Préalablement à la rédaction du rapport d’évaluation (phase 4), une réunion de débriefing de la phase 3 sera organisée à CFI entre le cabinet d’évaluation et le comité de pilotage.
Phase 4 – Rédaction du rapport d’évaluation : cette phase est décomposée en deux étapes, la rédaction du projet de rapport d’évaluation et sa finalisation. **
¤ Livrable : Projet complet de rapport d’évaluation : le projet de rapport lui-même ne dépasse pas 35/40 pages, hors annexes. Il comprend une synthèse de 5 à 6 pages reprenant l’essentiel du bilan, des appréciations, des bonnes pratiques et des recommandations du cabinet d’évaluation, y compris les observations formulées lors des réunions de restitution et un tableau des points forts et points faibles (type matrice FFOM - SWOT).
Délai : le projet de rapport est remis au moins 15 jours avant la date définitive de remise au rapport finalisé.
Validation : le projet de rapport est présenté au comité de pilotage qui le valide et fait part de ses observations.
¤ Livrable : Rapport final d’évaluation : le rapport final prend en compte les observations éventuelles du comité de pilotage.
Délai : Le rapport final est adressé à la Chargée de mission évaluation qualité au plus tard le 14 juin 2022.
Validation : le rapport final est validé par courrier électronique de CFI.
Le rapport final doit comporter la clause de non-responsabilité de CFI et du MEAE :
« La présente publication a été élaborée avec l’aide de CFI et du MEAE. Le contenu de la publication relève de la seule responsabilité de et ne peut aucunement être considéré comme reflétant le point de vue de CFI et du MEAE. »
Remarque : tous les livrables sont adressés à la Chargée de mission évaluation qualité et la Responsable de projet de CFI, en version électronique, word, excel et/ou pdf.
Le calendrier prévisionnel de l’évaluation est le suivant :
· Jeudi 13 janvier 2022 : publication de l’appel d’offres
• Jeudi 10 février 2022 à 14h, heure de Paris : date limite de réception des offres des candidat.es par courriel à l’adresse suivante : aoevalexpbalkans@cfi.fr
• Du jeudi 10 au mercredi 16 février : Vérification de la recevabilité des offres reçues. Lecture, analyse des offres recevables**
• Jeudi 17 février : Réunion du comité de pilotage pour sélection des offres recevables : notation et sélection des offres (+ phase de négociation éventuelle). Choix final du cabinet d’évaluation
• Vendredi 25 février au plus tard : contractualisation avec le cabinet d’évaluation retenu**
Phase 1 : cadrage de l’évaluation :
· Mardi 1er mars : première réunion (à distance) du comité de pilotage et du cabinet d’évaluation pour la réunion de cadrage et la remise des éléments documentaires.
· Mardi 8 mars : remise de la note de cadrage par le cabinet d’évaluation.
· Mardi 15 mars : validation de la note de cadrage par le comité de pilotage, si nécessaire lors d’une réunion d’échange sur la note de cadrage avec le cabinet d’évaluation.
Phase 2 : étude documentaire, entretiens en présentiel (si possible) et/ou à distance auprès de CFI, du MEAE, des principales parties prenantes et des expert.es intervenant.es et conception/validation des modèles de questionnaire pour les différents types de bénéficiaires direct.es (et si possible finaux) :
· Du mercredi 9 mars au mardi 29 mars
· Validation des modèles de questionnaires : au plus tard le mercredi 23 mars**
· Jeudi 24 mars : réunion de débriefing de la phase 2 au comité de pilotage.**
Phase 3 – Enquête sur le terrain dans les 6 pays concernés par le projet (Serbie, Bosnie-Herzégovine, Monténégro, Macédoine du Nord, Kosovo, Albanie**) via des entretiens en présentiel (quand c’est possible) et des questionnaires à distance (téléphone et/ou en ligne) auprès des différents types de bénéficiaires direct.es (et si possible finaux) du projet**:
· Vendredi 25 mars au mardi 26 avril
· Mercredi 27 avril : réunion de débriefing de la phase 3 au comité de pilotage**
Phase 4 – Rédaction du rapport d’évaluation : **
· Du jeudi 28 avril au lundi 23 mai : rédaction du projet de rapport
· Mardi 24 mai : remise du projet de rapport
· Mardi 31 mai : réunion de présentation du projet de rapport au comité de pilotage (sous forme d’une présentation Power Point)
· Au plus tard le mardi 14 juin : remise du rapport final
· Mardi 14 juin : présentation du rapport final au comité de direction de CFI et au MEAE**
How to apply:
1. Présentation des offres sous format électronique
La présentation des offres se déroulera en une phase unique d’analyse des candidatures et des offres techniques et financières, qui seront remises à CFI uniquement sous format électronique. Les offres seront rédigées en français.
Les candidats adresseront leur candidature et leur offre technique et financière sous format électronique à l’adresse aoevalexpbalkans@cfi.fr avant la date et l’horaire limite de remise des offres, à savoir avant le jeudi 10 février à 14h, heure de Paris (logiciels admis : WORD, EXCEL et PDF), en indiquant dans le corps du message la liste exhaustive, le nombre et le titre exact des fichiers envoyés.
En cas de dossiers trop lourds, les candidat.es sont invité.es à les transmettre par WE TRANSFER ou tout autre logiciel de transmission électronique, à l’adresse aoevalexpbalkans@cfi.fr, après en avoir informé CFI par mail à cette même adresse, en indiquant la liste exhaustive et le titre exact de chacun des fichiers transférés.
La Chargée de mission évaluation qualité adressera un mail de réponse à chaque candidat.e pour lui confirmer la bonne réception de ces documents. Les candidat.es pourront ainsi s’assurer de la bonne réception par CFI de l’ensemble de leurs documents.
Tout dossier incomplet sera rejeté.
1.1 Renseignements concernant le dossier de candidature
Le dossier de « Candidature » du candidat contiendra les pièces suivantes :
· Une lettre de candidature accompagnée du pouvoir de la personne habilitée à signer ;
· Un extrait à jour de l’immatriculation du candidat au Registre du Commerce et des Sociétés
(Kbis pour une entreprise)* ;
· Une déclaration du chiffre d’affaires des trois derniers exercices disponibles* ;
· Une déclaration indiquant les effectifs moyens annuels du candidat, et leur ancienneté ;
· Les références de projets similaires à celui objet du marché sur les trois dernières années, avec indications suivantes : nom du client, descriptif succinct de la prestation, date de réalisation, contact du client.
· le présent cahier des charges techniques et administratives, paraphé à toutes les pages, daté et signé avec la mention manuscrite « lu et approuvé » et revêtu du cachet de la société en page 15 ;
· Diverses documentations s’il le juge utile (facultatif).
De plus, le soumissionnaire retenu devra fournir, dans les meilleurs délais sans que ceux-ci n’excèdent sept (7) jours comptés à partir de l’envoi du courriel de CFI en faisant la demande, les documents suivants :
· Les pièces prévues aux articles D8222-5 et D8222-8 du code du travail* ;
· Les attestations et certificats délivrés par les organismes compétents prouvant qu’il a satisfait à ses obligations fiscales et sociales* – obligatoirement rédigées en langue
française –;
· L’IBAN de la société contractante.
CFI invite les candidat.es à s’assurer dès la constitution de leur offre, qu’ils seront bien en mesure de fournir tous ces documents dans ce délai. Si le candidat n’est pas en mesure de transmettre à CFI l’ensemble de ces documents à l’issue de ce délai de 7 jours, son offre sera rejetée et il sera éliminé. Le candidat suivant sera alors sollicité pour produire les documents demandés avant que le marché ne lui soit attribué. Si nécessaire, cette procédure pourra être reproduite tant qu'il subsiste des offres appropriées. Si les offres restantes, bien que conformes à l'objet du marché, ne sont pas acceptables, la procédure de passation du marché peut être déclarée infructueuse.
* Pour les soumissionnaires étrangers, il conviendra de fournir la copie légalisée d’un document équivalent.
1.2 Renseignements concernant l’offre technique et financière
L’offre technique et financière sera rédigée en français sous format word ou pdf et présentée de la manière suivante :
L’offre technique ne dépassera pas 20 pages (hors annexes).
Le cabinet d’évaluation exposera sa compréhension de l’évaluation attendue. Il fera état de sa propre expérience sur la manière d’aborder l’évaluation des outils qui permettent à la jeunesse des Balkans occidentaux de s’exprimer de manière ouverte sur des sujets qui la motivent dans chaque pays, notamment le développement de l’esprit critique des jeunes par rapport aux médias, le renforcement de leurs compétences, et le développement des productions audiovisuelles et numériques permettant aux jeunes de raconter leurs réalités dans la région des Balkans occidentaux dans les 6 pays concernés par le projet (Serbie, Bosnie-Herzégovine, Monténégro, Macédoine du Nord, Kosovo, Albanie).
Il proposera une matrice d’évaluation pour répondre au cahier des charges et donnera les indications utiles sur les méthodes proposées (types d’enquêtes, parties prenantes interrogées, …).
Le cabinet d’évaluation fournira un calendrier prévisionnel de son évaluation et indiquera sa disponibilité sur la période couvrant l’évaluation jusqu’à la remise de son rapport final.
Il pourra proposer une adaptation de l’**organisation** proposée pour son évaluation, sous réserve d’en justifier l’intérêt et de préserver le dialogue avec le comité de pilotage.
La répartition des jours-expert par phase de l’évaluation et par membre de l’équipe sera indiquée. Les noms des expert.es et leurs fonctions spécifiques dans le cadre de cette évaluation seront précisés. Un tableau récapitulatif mettra en regard le(s) nom(s) de(s) expert.e(s), les principaux travaux à effectuer et le nombre de jours/expert correspondant. Le nombre total de jours-expert prévu sera également pris en considération.
Les références du cabinet d’évaluation devront être détaillées, en matière d’évaluations de projets similaires, notamment sur le développement de l’esprit critique des jeunes par rapport aux médias, le renforcement de leurs compétences, et le développement des productions audiovisuelles et numériques qui portent sur la réalité des jeunes dans la région des Balkans occidentaux dans les 6 pays concernés par le projet (Serbie, Bosnie-Herzégovine, Monténégro, Macédoine du Nord, Kosovo, Albanie). Les profils des expert.es évaluateurs et évaluatrices proposés seront présentés, ainsi que leur curriculum vitae. Leurs compétences linguistiques seront détaillées, notamment celles en rapport avec la mission et correspondant aux critères tels qu’énoncés au paragraphe « 5. Organisation de l’évaluation ».
L’usage de schémas et graphiques sera limité au strict nécessaire.
L’offre financière sera attachée à l’offre technique et devra afficher le détail des postes.
La durée de validité des offres est de 120 jours à compter de la date limite de réception.
2. Délai de dépôt des offres, comprenant la candidature et l’offre technique et financière :
Les courriels contenant les candidatures et les offres devront être parvenus au plus tard :
le jeudi 10 février 2022 à 14h, heure de Paris,
à l’adresse mail « aoevalexpbalkans@cfi.fr»
Ce délai ne peut être dépassé. Aucune offre déposée au-delà des date et heure indiquées ci-dessus ne sera prise en compte.
Les dossiers qui seront transmis après la date et l'heure limite ne seront pas examinés.
3. Pièces contractuelles
Les pièces constitutives du marché comprennent, par ordre de priorité décroissant :
Le présent cahier des charges techniques et administratives ;
Le contrat de prestation de service expertise que CFI établira à destination du cabinet retenu, contenant les conditions générales et les conditions particulières ;
L’offre du cabinet retenu.
En cas de contradiction entre les différentes dispositions de ces documents ou de difficultés d’interprétation de celles-ci, les parties conviennent expressément que prévalent les dispositions du cahier des charges techniques et administratives et du contrat de prestation de service expertise de CFI par ordre décroissant.
4. Jugement des candidatures et des offres techniques et financières
Seuls les dossiers complets, ne présentant pas d’irrégularité(s), comprenant tous les documents demandés et reçus dans les délais seront examinés. Les autres dossiers seront rejetés.
Le présent cahier des charges techniques et administratives doit être paraphé à toutes les pages et daté, signé, revêtu du cachet de la société en page 16 ; le·a signataire n’oublie pas d’indiquer son nom et sa qualité, et de fournir son pouvoir d’engager sa société. Les dossiers réguliers en leurs formes seront analysés un à un, puis comparativement.
En fonction de cette analyse, le comité de pilotage pourra, le cas échéant, convoquer certains soumissionnaires à une présentation orale et leur demander librement les précisions ou compléments d’information qui seront jugés nécessaires quant à la teneur de leur offre.
Le comité de pilotage pourra engager une phase de négociation qui portera sur le prix, la qualité, les délais et les éléments d’exécution du marché, et qui sera formalisée par des échanges écrits, pendant une durée qui n’excèdera pas 15 jours.
Les offres seront jugées et classées selon les critères pondérés suivants :
Compréhension des termes de référence et des attentes de l’évaluation
22
Qualification de l’équipe d’évaluation
22
Expérience d’évaluations similaires
22
Qualité de la méthodologie proposée et de la présentation de l’offre
24
Coût hors taxes de la prestation
10
L’évaluation des offres est effectuée sur un total de 100. Le marché sera attribué au soumissionnaire qui aura présenté l’offre obtenant le total le plus élevé. Il est précisé que l’attribution du marché n’ira pas nécessairement au moins disant financier.
Le soumissionnaire retenu devra fournir, dans les meilleurs délais, sans que ceux-ci n’excèdent sept (7) jours comptés à partir de la lettre recommandée avec avis de réception ou du courriel de CFI en faisant la demande, les attestations fiscales et parafiscales – obligatoirement rédigées en langue française – indiquées au paragraphe 7.1.1.
Si une offre apparaît anormalement basse, le comité de pilotage pourra la rejeter par décision motivée après avoir demandé par écrit les précisions qu’il juge utiles et vérifié les justifications fournies.
5. Informations
Tous renseignements d'ordre technique et/ou administratif peuvent être demandés par courriel uniquement, à l'attention de Marie-Laure BRILLET, Chargée de mission évaluation qualité, aux adresses suivantes : marie-laure.brillet@cfi.fr et aoevalexpbalkans@cfi.fr.
PRIX et REGLEMENT DES COMPTES
1 : Valeur estimée du marché exprimée hors taxes : le marché ne pourra dépasser 30.000 € HT (trente mille euros hors taxes).
2 : Le prix, exprimé en euros, est réputé global et forfaitaire et inclut notamment :
les charges fiscales et parafiscales frappant obligatoirement la prestation ;
l’ensemble des vacations et frais de déplacement et toutes sujétions nécessités par les réunions à prévoir avec les différents services de CFI et du prestataire ;
l’ensemble des vacations et frais de déplacement et toutes sujétions nécessités par l’acquisition de la connaissance nécessaire à l’évaluation (et notamment les frais de transports nationaux et internationaux, visas, assurances, hébergements, et repas sur les territoires objets de l’évaluation, sans que cette liste soit limitative) ;
les prestations d’études jusqu’à l’approbation des différents dossiers et notices par CFI ;
les frais de secrétariat et notamment de reprographie.
Le montant des facturations sera majoré de la T.V.A. au taux en vigueur au moment de l’établissement de la facture. Si ce taux venait à changer au cours du marché, le nouveau taux s’appliquerait de plein droit.
3 : Le prix sera ferme pendant toute la durée d’exécution du contrat. Le prix sera réglé selon l’échéancier suivant :
1ère tranche : 40% à la signature du contrat de prestation de service expertise de CFI,
2ème tranche : 30% à la livraison du projet complet de rapport d’évaluation,
3ème tranche : 30% à l’acceptation du rapport final d’évaluation.
Tout règlement doit comporter le bon pour paiement de la facture contresigné par la Direction générale, sans préjudice du respect des procédures internes de règlement propres à CFI.
Les prestations faisant l’objet du marché seront réglées à terme échu, dans un délai de
30 jours fin de mois à compter de la réception de la facture.