L'évaluation est l'ennemie du doute : trois expérimentations
•Descargar como ODP, PDF•
6 recomendaciones•7,189 vistas
Support de formation utilisé dans le cadre de la formation "Évaluer les services sur place et à distance" - Enssib 2-3 avril 2012
Recomendados
Más contenido relacionado
Destacado
Destacado (20)
Más de Nicolas Alarcon
Más de Nicolas Alarcon (20)
Último
Último (20)
L'évaluation est l'ennemie du doute : trois expérimentations
- 1. Évaluer les usages sur place et à distance Enssib 3 avril 2011 L'évaluation est l'ennemie du doute trois expérimentations nicolas alarcon
- 2. 3 } expérimentations doutes plans d'évaluation méthodes résultats conclusions
- 4. doute #1 que peuvent bien faire nos usagers des liseuses que nous leur prêtons ?
- 5. contexte
- 6. contexte Lancement de la liseuse Sony PRS-505
- 7. contexte http://www.digitimes.com/news/a20100324PR204.html 2008 renouveau des e-readers
- 8. contexte local 20 livrels achetés et prêtés
- 9. contexte local préchargés et ouverts
- 10. contexte local Conditions de prêt les plus avantageuses
- 11. contexte local élimination de toutes les barrières à leur utilisation
- 12. contexte local La communication, moteur du service
- 13. Plan d'évaluation évaluation en 2 phases
- 14. Plan d'évaluation mix méthodologique axé sur le qualitatif
- 15. Plan d'évaluation analyse statistique des prêts
- 16. Plan d'évaluation enquête qualitative sur les représentations des usagers
- 17. Répartition des prêts de liseuses par mois mars 08 - mars 10 résultats 25 Hors personnel BU Linear regression for Hors personnel BU Avec personnel BU Linear regression for Avec personnel BU Analyse stat 20 15 10 5 0 avril 08 juin 08 sept 08 nov 08 janv 09 mars 09 mai 09 juillet 09 oct 09 déc 09 février 10 mars 08 mai 08 juillet 08 oct 08 déc 08 février 09 avril 09 juin 09 sept 09 nov 09 janv 10 mars 10
- 18. Répartion des prêts de livrel par statut d'emprunteurs (avec personnel BU) mars 08- mars 10 résultats Concours IUFM Enseignant université 0,4% 8,0% Etudiant - niveau D 8,4% Personnel de l'université 37,8% Etudiant - niveau L 15,5% Extérieur payant Etudiant - niveau M 6,3% 21,0% Extérieur exonéré 2,5%
- 19. méthode Interroger les représentations = focus group
- 22. méthode 3 groupes homogènes de 6 participants
- 23. méthode recrutement parmi les emprunteurs
- 25. résultats Retours sur le dispositif plutôt positifs
- 26. résultats Fort attachement à l'écosystème du livre papier
- 27. résultats Attentes vis à vis de la BU pour l'accompagnement dans les contenus
- 28. échec 1. Projet de service trop flou pour une évaluation efficace
- 29. échec 2. Appareil déjà obsolète au moment de l'enquête
- 30. échec 3. Intégration trop faible dans l'environnement institutionnel
- 32. doute #2 nous élargissons nos horaires d'ouverture mais les usagers seront-ils au rendez-vous ?
- 35. contexte 60h → 72h → 84h
- 37. Plan d'évaluation phase qualitative Interroger les acteurs de l'ouverture
- 38. Plan d'évaluation phase qualitative Interroger les acteurs de l'ouverture moniteurs-étudiants
- 39. Plan d'évaluation phase qualitative Interroger les acteurs de l'ouverture moniteurs-étudiants usagers
- 40. Plan d'évaluation phase quantitative Fréquentation = flux
- 41. Plan d'évaluation phase quantitative Fréquentation = flux Circulation = activités
- 42. Plan d'évaluation phase quantitative Fréquentation = flux Circulation = activités Occupation = présence
- 44. méthode être dans la norme
- 45. méthode taux d'occupation des places assises
- 46. Progression des transactions à la BdP (période haute) résultats 100% 80% STS : 18h-22h = 19 % BB : 18h-20h = 13 % 60% 40% STS lundi-jeudi STS : 8h30-9h = 1,7 % STS vendredi 20% BB : 8h30-9h = 2,3 % BB Lundi-jeudi BB vendredi 0% -20% 08h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h
- 47. STS - Évolution du taux d'occupation (lundi au vendredi) 80% résultats période haute 2010-2011 période basse 2010-2011 période haute 2009-2010 70% période basse 2009-2010 60% 50% 40% 30% 20% 10% 0% 08h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h 22h-22h30
- 48. STS - Évolution de l'occupation moyenne en valeur absolue (lundi au vendredi) résultats 500 période haute 2010-2011 période basse 2010-2011 450 période haute 2009-2010 période basse 2009-2010 400 350 300 250 200 150 100 50 0 08h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h 22h-22h30
- 49. BB - Évolution de taux d'occupation (lundi-vendredi) résultats 45.0% période haute 2010-2011 période basse 2010-2011 période haute 2009-2010 40.0% période basse 2009-2010 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 08h30-09h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h
- 50. BB - Évolution de l'occupation moyenne en valeur absolue résultats 500 période haute 2010-2011 période basse 2010-2011 période haute 2009-2010 450 période basse 2009-2010 400 350 300 250 200 150 100 50 0 08h30-09h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h
- 51. succès 1. Méfiez vous des recueils de données chiffrées (automatiques ou humains)
- 52. succès 2. Enquête qualitative tronquée
- 53. succès 3. La mesure la plus évidente n'est pas la plus pertinente
- 54. succès 4. Le taux d'occupation devrait être mesuré dans toutes les BU
- 56. doute doute #3 nos usagers sauront-ils se retrouver dans le nouvel écosystème documentaire de la BU ?
- 58. contexte Catalogue de nouvelle génération
- 59. contexte Moteur de recherche fédérée
- 62. Plan d'évaluation Cheminement à voix haute
- 65. méthode Test d'utilisabilité
- 66. le premier objectif méthode est d’améliorer l’utilisabilité du produit Test d'utilisabilité
- 67. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit Test d'utilisabilité
- 68. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit les participants Test font de vrais d'utilisabilité activités
- 69. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit observez et les participants enregistrez ce Test font de vrais que font et disent d'utilisabilité activités les utilisateurs
- 70. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit observez et les participants enregistrez ce Test font de vrais que font et disent d'utilisabilité activités les utilisateurs analysez les données, diagnostiquez les problèmes recommandez les modifications
- 71. méthode Démarrer un nouveau test Définir 3 à 5 Modifier le site activités à Cycle tester Itération Choisir 3 à 5 Observer les problèmes participants facile à réaliser les corriger activités Stephen Francoeur mars 2012
- 72. méthode Nombre de testeurs : 12
- 73. méthode durée de la période de test : 2 à 3 semaines
- 74. méthode logiciel d'enregistrement : à définir
- 75. méthode logiciel de codage : excel
- 76. méthode nombre d'actions à tester : 10 à 12
- 77. en conclusion à chaque doute, son évaluation à chaque évaluation, sa (ses) méthode(s)
- 80. Merci de votre attentio n alarcon.nicolas@gmail.com nico_AsLi CC – by - nc - sa www.slideshare.net/alarcon
- 81. Crédits photos CC Diapo 1 : 2008-08-06-002/ Alex//Berlin_Alexandre Stubner/ by-sa Diapo 2 : Avioncitos / josemanuelerre / by-nd Diapo 3 : One / Andrechinn / by Diapo 4 : Mrs. Duffee Seated on a Striped Sofa / Mike Licht NotionsCapital.com / by Diapo 5 : Welcome 2008/ ^riza^/ by Diapo 6 : Sexier than a librarian / ATIS547 / by-nc-sa Diapo 9 : Cybook in Bright Sunlight / preetamrai / by Diapo 13 : Nevermind me / The Hamster Factor / by-nc-nd Diapo 19 : Nook Storytelling a new way 2 of 2 / Orbmiser / by-nc-nd Diapo 25 : Difficult meeting / Simon Blackley / by-nd Diapo 28 : Bob Dylan "Subterranean Homesick Blues." Diapo 31 : Number 2 / Daniel*1977 / by-nc-sa Diapo 33 : OPEN 24 hours / larskflem / by-nc Diapo 37 : Harold B. Lee Library / jpstanley / by-nc-sa Diapo 40 : Untitled/ Strawberryletter23/ by-nc-nd Diapo 51 : What's the time /Monkeyc.net / by-nc-sa Diapo 55 : Three 238/365 / Foshydog / by-nc-nd Diapo 56 : Apple II / Sam Howzit / by Diapo 57 : books / Telmo32 / by-nd Diapo 61 : Elmo (#16044) / Mark Sebastian / by-sa Diapo 65 : Observation room / (nz)dave / by-nc-nd Diapo 72 : Library Computer / clover_1 / by-nc Diapo 77 : Where's Wally / Vvillamon / by-sa Diapo 80 : El Buscador / Ignacio Conejo / by-nc-sa
Notas del editor
- Cette formation portera sur la manière de se servir de l'évaluation pour lever les doutes, les questions que la création, la gestion ou l'amélioration des services ne manquera pas de poser.
- Je vais vous présenter 3 expérimentations sises dans 2 scd différents. Ces 3 expérimentations partaient de 3 doutes qui ont nécessité la construction de 3 plans d'évaluation comportant 3 méthodes-pivots différentes pour 3 résultats et conclusions.
- Premier doute
- C'est bien beau de prêter des liseuses mais que font-ils avec ?
- Revenons d'abord en 2008, il n'y a pas si longtemps mais en terme d'usage et d'évolution des outils, il y a une éternité
- 2008 marque surtout l'arrivée du premier acteur international sur le marché (re)naissant des liseuses. Auparavant occupé par des sociétés comme Booken ou Iliad. Sony arrive sur le marché (avant amazon) et met tous les moyens notamment marketing pour s'y installer durablement. Au même moment, Daniel Bourrion, responsable de la bibliothèque numérique au SCD de l'Université d'Angers flaire le potentiel de ces nouvelles machines pour la BU et parie sur une percée dans l'équipement des ménages.
- L'avenir lui donnera raison (au moins jusqu'en 2011) puisque ce graphique montre la progression des expéditions de liseuses depuis 2008. On perçoit un décollage à partir de 2009-2010. Mais ce que le graphique ne montre pas, c'est un fort tassement des ventes pour le premier trimestre 2012. Les liseuses subissent la concurrence frontale des tablettes (iPad en tête).
- Néanmoins, en 2008, la Bu d'Angers achète 10 tablettes cybook Gen3 de la marque Bookeen et obtient un prêt longue durée de 10 PRS-505 de la marque Sony. Donc, une flotte de 20 machines à prêter à nos usagers
- Au départ, les machines devaient être chargées avec une sélection de livres libres de droit issus du Projet Gutenberg Mais au même moment, s'est conclu un partenariat avec l'éditeur-diffuseur en ligne de littérature contemporaine Publie.net. Certains ouvrages furent chargés. Les liseuses restaient ouvertes, c'est à dire que les emprunteurs pouvaient ajouter tous les documents qu'ils souhaitaient. À leur retour de prêt, les machines sont formatées et rechargées.
- Les conditions de prêt les plus avantageuses ont été appliqués aux liseuses : 28 jours renovuelables. Afin que les usagers puissent réellement se familiariser avec.
- Le prêt se veut le plus simple possible. Il suffit de demander à la banque de prêt. Pas besoin de laisser un chèque de caution ou de signer un engagement quelconque.
- La campagne de communication au moment du lancement du service fut relativement importante : mailing, affiche, démonstration dans le hall de la bibliothèque, etc. La communication peut être perçu comme un moteur pour ce service car lorsqu'elle a diminué les prêts ont chuté.
- Nouveau service à la BU sans point de repère dans d'autres bibliothèques en France ou à l'étranger, l'évaluation du prêt de liseuses était incontournable. Le plan d'évaluation comportait 2 phases
- Un mix méthodologique entre méthodes quantitatives et méthodes qualitatives a immédiatement été envisagé C'est d'ailleurs une constante dans tous les plans d'évaluation de la BU (tout les plans devraient être pensés ainsi), Au contraire d'autres enquêtes (satisfaction sur les formations, enquête de publics), l'accent a été porté sur la phase qualitative. La méthode qualitative choisie devait nous apporter le matériaux le plus riche et répondre à la problématique, au doute initial.
- La phase quantitative consistait à recueillir et analyser les statistiques de prêt des machines.
- La phase qualitative portait sur les représentations des usagers par rapport aux liseuses.
- La courbe orange correspond aux prêts totaux, la bleu aux emprunts amputés de ceux du personnel à qui les machines ont été prêtés avant le lancement officiel du service (courbe entre mars et juillet 08). Plus les courbes orange et bleue se rejoignent plus les machines sont prêtés à des usagers lambda. On note que la courbe se maintient assez haut entre septembre (lancement) et février, mois à partir duquel l'activité est supportée par le personnel. Le pic de l'été 2010 correspond à l'expérimentation de l'enquête qualitative. La campagne de communication a eu un effet certain sur les statistiques. On peut même avance que le service était sous assistance respiratoire, ce qui pose la question de son bien fondé.
- En terme de répartition par catégorie d'usager, on voit que le personnel est sur-représenté parmi les emprunteurs. Les étudiants de niveau M sont les 2 e usagers du service suivis par les étudiants en licence.
- L'objectif de la seconde phase visait à recueillir un matériaux qualitatif sur la perception des usagers à propos des ereader (problématique : Comment les usagers perçoivent ce nouvel outil ? Qu'en attendent-ils ? De quelles manières s'approprient-ils l'outil ? Et quelles places pour les livrels parmi l'équipement croissant en matériels technologiques (mp3, ordinateur portable, smartphone, etc.). La méthode la plus adapté pour ce type de questionnement est le focus group Guide d'entretien : 4 catégories de pistes : Parcours de lecteur et intérêt pour le projet / appropriation de l'outil / Prosélytisme / livrel dans un contexte universitaire
- Voir le document préparatoire http://www.slideshare.net/alarcon/document-prparatoire-lvaluation-du-projet-livrel-la-bibliothque-universitaire-dangers
- Guide d'entretien : 4 catégories de pistes : Parcours de lecteur et intérêt pour le projet / appropriation de l'outil / Prosélytisme / livrel dans un contexte universitaire Voir la grille d'entretien : http://www.slideshare.net/alarcon/grille-dentretien-des-focus-group-livre
- organisation des focus groups : taille des groupes déterminée par le nombre de machines disponibles au prêt (18). Deux groupes d'étudiants (5+6) M+D+extérieurs, 1 groupe d'enseignants-chercheurs (6)
- Recrutement : sélection à partir des multi-emprunteurs, complété par une sélection au hasard en salle et enfin liste de contact enseignant-chercheurs. Les liseuses furent prêtées au panel durant toutes les vacances d'été 2010 (2 mois) en échange d'une participation au focus group.
- Préparation des fous groups : grille d'entretien, réservation de la salle, rafraîchissement, briefing avec la collègue-assistante, relance pour le rendez-vous, réservation du matériel d'enregistrement, pas d'incentives pour encourager la participation Les focus groups se sont dans l'ensemble bien déroulés Durée 2h-2h30, échanges nombreux, bonnes réactivité et participation des usagers. Problème : une coupure de courant à la toute fin d'un focus group a provoqué l'arrêt brutal de l'enregistreur numérique et a corrompu le fichier audio. Heureusement récupérable avec un logiciel ad hoc. Leçon : mettre des piles dans l'enregistreur en plus du secteur.
- Le focus group des enseignants n'a pas pu être réuni pour des raisons d'incompatibilité d'emploi du temps. Réaction à chaud : plutôt positif, la parole a bien circulé, les participants rebondissaient sur les propos des autres, peu de relances ou de réorientations des débats. Ma question de clôture n'a pas fonctionné à cause de la fatigue et de la redondance des propos (aurais dû la placer en ouverture ou pas loin du début).
- Prise en main : aisée, intuitive même si l’accès à la bibliothèque mériterait plus de convivialité et des boutons plus ergonomiques. Nécessiterait tout de même un mode d'emploi. Usage : plus souvent lecture loisir car problème de conversion pour les articles, lecture pro ou mise en forme spéciale (théâtre, poésie, article scientifique) déception dans la disparition du feuilletage et de l'odeur du livre Attentes : sur le contenu :très variées, dico, encyclopédie (wikipédia), livres étrangers, articles scientifiques, résumé et couverture pour le choix des livres. Sur les fonctionnalités : wifi, tactile lien avec pc toujours contraignant
- Attentes : sur le contenu :très variées, dico, encyclopédie (wikipédia), livres étrangers, articles scientifiques, résumé et couverture pour le choix des livres. Sur les fonctionnalités : wifi, tactile lien avec pc toujours contraignant Importance de la bibliothèque de livres dans la sélection et la navigation (ergonomie, jaquette), rôle de la BU comme prescripteur et accompagnateur pour le contenu (borne de chargement). Uniquement lecture loisir, ne s'adapte pas à des lectures professionnelles (pdf vs epub)
- Finalement l'évaluation s'est révélée être un échec. Pourquoi ? 1. l'évaluation était à l'image du projet : ambiguë, flou, sans réelle délimitation.
- 2. au moment de l'enquête de nouveau modèle de liseuses venaient d'être commercialisées complétant ou corrigeant les problèmes des premiers. Certaines fonctionnalités demandées par les usagers étaient déjà dans les nouvelles versions. De plus, la tablette se lançaient, ce qui à encore un peu plus brouillé l'image des liseuses à encre électronique.
- 3. Le plan d'évaluation n'a pas pu être mené à son terme (un focus group non tenu), retranscritpion inachevée, restitution abandonnée. L'absence d'attente forte de la part de la hiérarchie ou des collègues extérieurs (pression positive) a contribué au désintérêt du projet. Le temps de retranscription a été sous-estimé et l'absence d'un budget fléché Évaluation n'a pas permis d'externaliser cette étape. Nous disposions de budget important pour les grosses enquêtes (questionnaires ou libqual) mais pas de postes budgétaires "Evaluation" pour les dépenses courantes : logiciels, retranscriptions, étudiants-enquêteurs, incentives.
- Deuxième doute
- Dossier national avec une certaine pression des tutelles (principalement le ministère) pour élargir les horaires (label NoctamBU)
- Plusieurs enquêtes (locale 2005, libqual 2008) avaient pointé une insatisfaction de certains de nos usagers. Un groupe de travail sur les horaires d'ouverture et l'aménagement du temps de travail des agents s'est réuni durant 18 mois pour aboutir à l'extension des horaires d'ouverture et à la refonte de l'aménagement du temps de travail des personnels (amplitudes, congés, etc.).
- Au final, la BU Belle-Beille (Lettres, sciences, SH en périphérie) est passée de 60h à 65h. La BU St Serge (Droit, éco, Santé) est passée de 60h à 72h en 2009-2010 puis à 84h en 2010-2011. L'ouverture est assurée par des moniteurs-étudiants, une vigile et le personnel de catégorie A de la bibliothèque.
- Dossier épineux, scepticisme des agents sur l'intérêt d'une extension, sur la mise en œuvre, sur la capacité des moniteurs à effectuer un travail de qualité besoin d'un retour pour la tutelle, la direction et le personnel = élaboration d'un plan d'évaluation (première en France à ma connaissance)
- La phase qualitative est minoritaire dans ce projet d'évaluation (importance donnée au quantitatif) mais elle existe quand même. L'idée était d'interroger ceux qui font l'ouverture.
- A la demande des représentants du personnel, les équipes de moniteurs travaillant durant les horaires élargis ont été interrogés durant un focus group visant à recueillir leurs impressions, leurs difficultés, leur rapport aux usagers durant les phases d'ouverture nocturne.
- Après l'extension des horaires, une phase qualitative est envisagée sous la forme d'une enquête d'usage par questionnaire, focus group ou observation (utilisation des espaces, articulation entre travail à la BU et vie quotidienne, sociale, etc.). Par manque de temps (mutation), l'interrogation des usagers n'a pas pu se faire.
- La phase quantitative se divisait en trois parties. D'abord la mesure précise des flux (la fréquentation) Mesures systématiques 3 relevés systématiques (8h30, 9h, 19h) permettant de mesurer le surcroit de fréquentation entre 8h30 et 9h, entre 9h et 19h (périmètre constant) et entre 19h et 20h ou 22h. Le relevé du 19h subit encore quelques ratés. J'ai donc installé un « pense-bête » sur le navigateur (Firefox) des postes de la BDP St Serge. Un pop-up s'ouvre, avertissant du relevé. Voir si déploiement sur BB. Les données de ces relevés systématiques feront l'objet d'une analyse au fil de l'année et comparative par rapport aux années précédentes. Mesures par sondage 4 semaines de mesure en période haute : 2 semaines en novembre (du 16 au 27/11) et 2 semaines en mars (du 8 au 20 mars) 3 semaines de mesure en période basse : 2 semaines en janvier (du 11 au 23/01) et 1 semaine en avril (du 12 au 17 avril). La fréquence des relevés durant les semaines-tests est la suivante : #1 : 1 relevé par heure en plus de celui de 8H30 = 14 relevés pour les fermeture à 22h, 12 relevés pour les fermetures à 20h, 10 relevés pour les fermetures à 18
- Occupation des salles Mesures par sondage Le calcul du taux d'occupation des places assises permettra de déterminer l'occupation des espaces durant l'ouverture de la bibliothèque et principalement durant les ouvertures en plus (8h30-9h, 19h-20h ou 19h-22h). Le calcul du taux d'occupation des salles se déclinera en : mesures systématiques (1 mesure entre 8h45 et 8h55, 3 mesures entre 19h et 20h, 20h et 21h et 21h et 22h) et mesures par tirage au sort : 5 relevés tirés au sort entre 9h et 19h (3 relevés pour les samedis) Afin de ne pas déséquilibrer l'échantillon (3 mesures pour 3h en fin de journée contre 5 mesures pour 10h durant la journée), les mesures seront pondérées. L'achat d'un compteur mécanique facilitera les relevés. Les semaines-tests Fréquentation seront couplées avec les semaines-tests Occupation des salles
- Circulation Mesures systématiques via ALEPH L'activité à la banque de prêt sera mesurée sur les périodes d'ouverture supplémentaires. Les statistiques de circulation entre 8h30 et 9h, 18h et 20h, 20h et 22h feront l'objet d'un rapport mensuel directement extrait d'Aleph Voir le plan d'évaluation : http://www.slideshare.net/alarcon/plan-dvaluation-de-lextention-des-horaires-douverture-dans-les-bu-de-luniversit-dangers
- Une semaine-test est une période période durant laquelle un ensemble de mesures sont effectuées afin de produire des indicateurs ne pouvant être extraits directement d'un système informatisé (SIGB ou autre) Lors de la 1ère année d'extension : recueil systématique des entrées et occupation des places assises aux périodes d'extension (8h30, 9h, 19h) + recueil par heure lors de semaine test
- 2 outils indispensables : normes ISO 2789 et ISO11620. Permettent de parler un langage commun et d'utiliser les mêmes méthodes de comptage. Donc de produire des données fiables et comparables. Production d'indicateurs d'activité et de performance (ratios) L'exemple d'Angers : Taux d'occupation des places assises, Taux d'occupations des postes OPAC.
- .
- Les données de circulation n'ont rien donné de concluant sur les extensions. Nous savons simplement qu'en soirée les prêts/retours/prolongations représentent près de 20% de l'activité de la journée à St Serge (BU qui ouvre le plus)
- Le plan a connu quelques ratés principalement pour le recueil des données de fréquentation. Un problème informatique a empêché le relevé par heure des portiques. Dans l'autre BU, c'est un problème humain (oubli) qui a produit des données peu fiable.
- Faute de temps les focus groups des usagers n'a pu avoir lieu.
- Alors que les entrées reste un des principaux critères d'activité des BU, on s'est aperçu que le taux d'occupation des places assises était un critère beaucoup plus intéressant et reflétait mieux la saturation et l'occupation des espaces
- Cet indicateur devrait compléter le nombre d'entrées dans l'ESGBU
- Troisième doute
- À partir de janvier 2012, les outils documentaires du SCD sont peu à peu renouvelés, complétés, transformés. Si le SIGB reste, pour le moment, le même, c'est l'ensemble des outils de recherche documentaire proposés aux usagers qui est revu. Nouveau site web basé sur les parcours disciplinaires
- Nouveau catalogue (primo) qui intègre les fonctionnalités des opac dernières générations et remplace un opac (absys) depuis longtemps dépassé
- Un moteur de recherche fédérée censé faciliter l'utilisation des ressources électroniques du SCD
- Un résolveur de lien (SFX) pour exploiter au mieux et rendre plus visibles nos bouquets de textes intégrales
- Le plan d'évaluation est en grande partie axé sur les tests d'utilisabilité, qui doivent servir à mesurer quantitativement l'utilisabilité du test. Déf : L’utilisabilité est le niveau de facilité, d’efficience, d’efficacité et de satisfaction avec lequel un utilisateur emploie un produit pour réaliser une activité précise Le but est d'obtenir des données sur : est-ce que l'usager a réussi à accomplir la tâche (efficacité) est-ce qu'il l'a fait un délai et des efforts raisonnables (efficience) est-il satisfait du produit/service
- Conjointement au test, les utilisateurs devront expliquer à voix haute au moment de l'enregistrement ce qu'ils sont en train de faire à l'écran. Pour ajouter un retour subjectif sur les actions et enregistrer leur ressenti (effet wow, frustration, perdu, colère, etc.)
- Un questionnaire sera remis avant le test pour enregistrer toutes données éclairant les résultats (habitude des ordi, d'internet, de la recherche documentaire, etc.) et données socio-démographiques pas directement utiles.
- Un focus group pourrait être éventuellement réuni pour recueillir les représentations des usagers sur ces outils et toutes données qualitative non produites par les méthodes précédentes.
- Les 5 objectifs des tests d'utilisabilité
- Le nombre de participants aux tests a été arrêté à 12, ce qui peut paraître beaucoup (3 à 5 suffisent normalement) toute les catégories d'usagers seront représentées pour capter les différentes habitudes d'utilisation
- La phase de test devrait durer entre 2 et 3 semaines, la durée du test ne devra pas excéder 1h
- Le logiciel utilisé pour enregistrer le cheminement de l'utilisateur dans la page et les commentaires oraux n'est pas encore déterminé (logiciel de screencasting).
- Excel sera utilisé comme logiciel de codage
- Le nombre d'actions à tester sera compris entre 10 et 12 actions.