Definir els objectius de la investigació
Abans d’iniciar el disseny de les preguntes cal tenir clar quins són els objectius de la investigació que es durà a terme, és a dir, quina és la informació que necessitem obtenir. Aquesta reflexió inicial determina el tipus de qüestionari que caldrà utilitzar, la tipologia de preguntes a utilitzar, la redacció d’aquestes, l’ordre, la distribució i la mostra que cal que respongui a les nostres preguntes.
Així, doncs, el primer que cal fer és definir la hipòtesi de la investigació i, a partir d’aquesta, respondre les següents preguntes:
- Quin és l’objectiu de la investigació?
- Quina és la informació necessària per a comprovar la hipòtesi?
- Quines són les dades més rellevants que necessitem obtenir?
- Quines són les dades complementàries que necessitem o podem obtenir?
Definició de la mostra, la logística i la distribució del qüestionari
Un cop està ben definit el punt anterior, cal definir qui ha de respondre a les preguntes del qüestionari, tenir clar quin és el marge d’error que pot tenir el nostre qüestionari en funció del nombre de persones que l’hagin de respondre i planificar quin serà el mitjà pel qual respondran les persones usuàries, així com quan ho faran i com se’ls farà arribar.
No té sentit, per exemple, preguntar a la persona usuària si li agrada una aplicació just quan l’acaba de descarregar o demanar-li que valori el procés de compra d’un comerç electrònic si encara no l’ha utilitzat. De la mateixa manera que cal decidir en quin moment es presentarà el qüestionari a la persona usuària, cal decidir el format que se li farà arribar: correu electrònic, notificació automàtica, trucada telefònica, etc.
Tots aquests detalls determinaran el disseny posterior de les preguntes, ja que afectaran la durada i llargada del qüestionari, així com la redacció dels enunciats i, fins i tot, la tria de programari específic per a crear i distribuir el qüestionari. Quines són les dades complementàries que necessitem o podem obtenir?
Triar el qüestionari a utilitzar
Qüestionaris estandarditzats
Per al mesurament de la usabilitat i satisfacció subjectiva de la usabilitat, hi ha qüestionaris estandarditzats que faciliten la tasca d’avaluació d’una interfície. Generalment aquests qüestionaris s’utilitzen després de la realització d’un test amb persones usuàries, sigui per a orientar un redisseny o per a avaluar un nou disseny abans de treure’l al mercat.
Els avantatges que tenen aquests qüestionaris és que ja tenen preestablertes les preguntes i les mètriques que s’usen per a analitzar-los. Per contra, no ens permeten adaptar les preguntes al producte/servei concret que estiguem investigant, per la qual cosa val la pena reflexionar bé sobre el moment exacte en què val la pena apostar per un qüestionari estandarditzat.
SUS (system usability scale)
El qüestionari SUS té com a propòsit proporcionar un test ràpid i fàcil de completar i puntuar que permeti avaluar la usabilitat percebuda per part de les persones usuàries. D’aquesta manera també és possible establir comparacions entre sistemes. El qüestionari SUS és dels més utilitzats per a recollir informació després d’un test de tasques, ja que les seves 10 preguntes estan orientades a descobrir les sensacions percebudes per la persona usuària durant la utilització d’un sistema interactiu. Cada pregunta té una escala de l’1 al 5 com a resposta, on 1 és “Completament d’acord” i 5 “Completament en desacord”. La persona usuària ha de respondre a totes les preguntes.
Preguntes del qüestionari SUS:
- Crec que m’agradarà usar sovint aquest sistema.
- He trobat el sistema innecessàriament complex.
- He pensat que el sistema és fàcil d’utilitzar.
- Crec que necessitaria el suport d’un expert per a recórrer el sistema.
- He trobat les diverses possibilitats del sistema bastant ben integrades.
- He pensat que hi havia massa inconsistència en el sistema.
- Imagino que la majoria de les persones aprendrien molt ràpidament a utilitzar el sistema.
- He trobat el sistema molt incòmode d’usar.
- M’he sentit molt confiat en el maneig del sistema.
- Necessito aprendre moltes coses abans de manejar amb comoditat el sistema.
L’escala del qüestionari SUS, basada en l’estil Likert, permet tractar les dades de manera que el resultat final és un valor únic que representa una mesura composta de la usabilitat del sistema global estudiat. D’aquesta manera cal destacar que les puntuacions independents no són significatives per si mateixes, ja que cal calcular la puntuació global.
Per a calcular el resultat cal fer una suma de les contribucions de cada punt, tenint en compte que cada punt valdrà entre 0 i 4. Cal aplicar aquesta regla per a obtenir les contribucions de cada punt:
Per als punts 1, 3, 5, 7 i 9 cal restar-ne 1 a la posició de l’escala.
Per als punts 2, 4, 6, 8 i 10 cal sumar-ne 1 a la posició de l’escala.
Un cop tenim el valor total mitjançat la suma de totes les contribucions, multipliquem el resultat per 2,5 i així obtindrem el valor global del SUS, un resultat entre 0 i 100.
L’escala d’usabilitat del sistema no és diagnòstica; per tant, només aporta una puntuació per a entendre si la usabilitat global d’un sistema s’ha percebut com a bona o no.
La puntuació mitjana de l’escala és de 68. Si la puntuació és inferior a 68, significa que és molt probable que hi hagi problemes greus amb la usabilitat que cal identificar i solucionar. Una puntuació superior a 68 es considera positiva, però denota que hi ha alguna mancança en la usabilitat. Així doncs, sempre cal acompanyar el SUS d’una anàlisi qualitativa per a contextualitzar i entendre les dades.
El SUS és d’ús lliure sempre que se n’esmenti la font: Copyright Digital Equipment Corporation, 1986.
Altres qüestionaris
Hi ha molts altres qüestionaris estandarditzats centrats en la usabilitat i satisfacció, alguns amb llicències lliures i gratuïtes i altres que cal adquirir per a poder ser utilitzats:
- SUMI (software usability measurement inventory). El SUMI és un qüestionari que permet avaluar la qualitat d’un conjunt de programari. És molt útil per a avaluar productes i comparar-los amb versions anteriors. L’inconvenient que presenta és que es compon d’un total de 50 preguntes. L’avantatge principal és que amb la resposta d’entre 12 i 30 persones usuàries ja hi ha prou mostra per a obtenir resultats interessants.
- MUMMS (measuring the usability of multi-media systems). El MUMMS té el mateix objectiu que el SUMI, però la diferència principal és que inclou cinc subescales:
- Una centrada en la mesura de les respostes emocionals de la persona usuària.
- Una en el grau del control que sent la persona usuària.
- Una en el grau d’eficiència amb la qual la persona usuària creu que pot aconseguir els seus objectius mitjançant la interacció.
- El nivell d’ajuda i assistència que proporciona el sistema.
- La facilitat d’aprenentatge que percep la persona usuària.
- SUPRQ (standardized used experience percentile rank questionnaire). El SUPRQ és un qüestionari de 8 preguntes que permet mesurar la qualitat de l’experiència de la persona usuària d’un producte interactiu. Per a fer-ho, se centra en quatre dimensions del producte interactiu: usabilitat, credibilitat, satisfacció i aparença. Les respostes també es configuren en una escala Likert de l’1 al 5, on 1 és “Molt en desacord” i 5 “Molt d’acord”. Disposa d’una eina que s’inclou amb la llicència (no és un qüestionari d’accés lliure) que permet calcular els valors per cada dimensió i fer comparativa dins la seva base de dades.
Hi ha altres qüestionaris estandarditzats que val la pena conèixer:
- CSUQ (computer system usability questionnaire)
- ASQ (after-scenario questionnaire)
- CUSI (computer user satisfaction inventory)
- USE (usefulness, satisfaction, and ease of use)
- ISONORM 9241/10
- PUEU (perceived usefulness and ease of use)
Dissenyar el nostre propi qüestionari: tipologia de preguntes
Cal destacar que l’ús dels qüestionaris sol respondre a la necessitat d’obtenir informació que volem tractar de manera pràcticament automàtica. Així, doncs, és rellevant conèixer les característiques que han de tenir les preguntes a formular i tenir capacitat per a triar a cada moment la tipologia de pregunta que millor s’escau al tipus d’informació que es vol obtenir.
Preguntes obertes
Són les preguntes en les quals permetem a les persones usuàries que escriguin les seves respostes. Permeten obtenir matisos i detalls, però alhora resulten difícils d’automatitzar, ja que no es poden tabular.
Preguntes tancades
Són preguntes que ofereixen opcions de respostes tancades, és a dir, ofereixen les diferents alternatives que pot respondre la persona usuària. Permeten el tractament automàtic de les dades obtingudes, però si no es dissenyen les respostes possibles pensant en totes les opcions existents, poden provocar biaixos i pèrdua de riquesa. Cal tenir present que si són respostes d’opció única, les alternatives han de ser excloents entre elles. En canvi, si són preguntes d’opció múltiple, cal delimitar el nombre mínim i màxim d’opcions que pot seleccionar la persona usuària. Un altre aspecte a tenir en compte quan es dissenyen les respostes és que no han de seguir cap ordre concret, ja que les persones usuàries tenen tendència a respondre les primeres opcions que llegeixen que s’adeqüin al que cerquen. Per tant, s’ha d’evitar l’ús de l’ordre alfabètic i s’ha d’intentar usar un programari que permeti barrejar les respostes als diferents participants del qüestionari (opcions aleatòries). Per últim, un nombre massa elevat de respostes possibles també comportarà problemes a les persones usuàries. Idealment no haurien d’existir més de 7 possibles alternatives.
Preguntes en bateria
Són preguntes que es formulen per a realitzar-les de forma seqüencial en funció de la resposta que la persona usuària seleccioni a la pregunta anterior. D’aquesta manera es pot aprofundir en un tema concret. Cal plantejar-les bé per a evitar que la persona usuària se senti perduda o arribi a un punt de no retorn. Els salts lògics i les diferents ramificacions que puguin existir en una successió s’han de planificar i provar abans de llançar el qüestionari al públic.
Preguntes d’avaluació
Són preguntes en les quals demanem a la persona usuària que valori un aspecte o la totalitat d’un producte o servei. Generalment s’utilitza una escala de caràcter numèric o una valoració qualitativa. En aquestes preguntes cal evitar oferir un valor numèric o opció qualitativa intermèdia, ja que les persones usuàries tendiran a donar aquell valor. Així doncs és preferible una escala del 0 al 5 que de l’1 al 5, per exemple.
Mètode de Likert
També se l’anomena mètode d’avaluacions sumàries. L’escala de Likert és aquella on la persona usuària indica el seu grau d’acord o desacord sobre un conjunt d’enunciats o declaracions. És una de les escales més utilitzada en el disseny de qüestionaris en investigacions de ciències socials, ja que permet anar més enllà de la dicotomia “Sí/No” i amb ella es pot obtenir informació sobre opinions, percepcions i comportaments. Les escales Likert es poden utilitzar per recollir informació relacionada amb la satisfacció, la usabilitat, l’opinió sobre una novetat, les percepcions sobre l’ús d’un producte o servei, etc.
Per a elaborar preguntes amb elements Likert de resposta, cal plantejar enunciats positius i negatius sobre la mateixa temàtica, ja que així podrem detectar si es donen incongruències en les respostes. Cal tenir en compte en aquest punt que és recomanable convertir els enunciats en preguntes, ja que les declaracions tenen el risc de provocar que les persones usuàries responguin que hi estan d’acord, per no provocar el biaix de consentiment. Aquest fenomen és comú en enquestes i qüestionaris quan hi ha declaracions absolutes o molt òbvies i provoca que les persones usuàries tinguin tendència a respondre que estan d’acord amb un aspecte.
Exemple:
“Ha resultat fàcil utilitzar el cercador d’aeroports?”
“Ha estat difícil seleccionar els aeroports?”
Generalment, s’utilitzen 5 elements de resposta: “Totalment en desacord”, “En desacord”, “Ni d’acord ni en desacord”, “D’acord” i “Totalment d’acord”. D’aquesta manera es mesura l’actitud positiva, negativa i neutral que tenen les persones usuàries cap a una situació o element explicitat en un enunciat.
Per a obtenir informació tan concreta i acurada com sigui possible quan s’utilitza una escala d’aquest tipus cal tenir present que els enunciats i/o preguntes han de ser tan específiques com es pugui. Per exemple, si es vol preguntar sobre el procés de reserva d’un vol en una aplicació, és més recomanable fer preguntes específiques per cada fase del procés que no una de genèrica sobre el procés en conjunt.
De la mateixa manera, cal triar amb molta cura els adjectius que formaran part de l’escala, si és que s’opta per utilitzar paraules textuals. Les respostes han d’incloure paraules descriptives que facilitin la comprensió de cada element de l’escala. De fet, encara que s’utilitzin valors numèrics per a l’escala, és recomanable incloure una referència textual per a la qual les persones usuàries identifiquin clarament el rang positiu, negatiu i neutre de cada opció de resposta.
