Social Icons

Pages

terça-feira, 11 de fevereiro de 2014

Experimentos para avaliar produtos: Processo em 5 fases


Um simulador sendo experimentado
por instrutores de uma autoescola

Minha atual consultoria em UX é a de avaliar simuladores de motocicleta para o governo federal. Como já falei em outro post sobre procedimentos de pesquisa, há uma porção deles. O segredo é escolher o procedimento (ou conjunto deles) mais adequado para cada projeto.


No caso dos simuladores foi uma determinação do cliente que fosse o procedimento de pesquisa mais complexo e desafiador de todos: a análise experimental. Em outras palavras, experimentos com pessoas para avaliar o produto.

Há diversos motivos que tornam a pesquisa experimental desafiadora. Ela tende a ser mais complexa e cara que uma simples observação, e muitíssimo mais cheia de variáveis para levar em conta que uma entrevista, e muito mais condições de controle que uma pesquisa etnográfica.

Importante destacar que pesquisa experimental não é uma dinâmica de grupo ou focus group onde simplesmente se expõe um produto e se pergunta sistematicamente o que as pessoas acharam. Nada disso. É algo bem mais controlado e rigoroso que isso para extrair dados pertinentes.

Para que serve uma pesquisa experimental? Murray Sidman (1976), diz que ela pode ter 5 serventias:


a) Avaliar hipóteses pré-estabelecidas. Então você quer validar uma ideia? Acha que precisa  ver pra crer se o produto é mesmo bom? Desconfia que ele tem uma falha? Experimente!

b) Satisfazer curiosidade. O que será que as pessoas pensarão, sentirão e farão com o produto uma vez que tenha experimentado-o?

c) Testar novo método ou técnica. Trata-se de explorar possibilidades de uso da maneira mais precisa de todas: pondo gente para usar em condições controlados e vendo o que acontece. 

d) Estabelecer a existência de fenômenos. Nunca se sabe o que acontecerá ao certo quando as pessoas põem a mão no que você fez... Ou melhor, se sabe sim: experimentando.

e)  Investigar em que condições um dado fenômeno ocorre. Ok, você já sabe que tal coisa vai acontecer durante o uso. Mas falta saber que condições exatamente explicam o fenômeno!


Um experimento no fundo não passa de uma observação,
mas feita em condições muito controladas e rigorosas.

E como se faz uma pesquisa experimental?? Sidman prossegue sugerindo 5 fases mais ou menos intercambiáveis:

1 - Planejamento - Onde se faz revisão bibliográfica, se decide como serão os experimentos (quantas pessoas, com que delineamento experimental, que variáveis independentes, quais variáveis dependentes, etc)

2 - Preparação - Onde se calibra os instrumentos de observação e registro de dados; se prepara o ambiente controlado que servirá de laboratório; se faz um ou mais estudos piloto para testar tudo.

3 - Execução dos Experimentos - Onde ocorrem os testes, tudo é observado, dados são coletados. É a parte mais fácil em termos de decisões, porém mais longa e trabalhosa. Registrar com precisão os dados é condição sine qua non seu Design, mais tarde, será baseado em evidências.

4 - Tratamento dos Dados - Onde tudo que foi coletado na fase anterior é analisado, interpretado, modelado para se tornar informação útil pro projeto. Aqui entra mais análise estatística das variáveis registradas. Gosta de Matemática?

5 - Apresentação dos Resultados - Onde é hora de finalmente mostrar algo, embasado em evidências e numa linguagem apropriada, que fará diferença para a equipe tomar decisões sobre o projeto.

Aguardem que em breve tem mais sobre pesquisa experimental!




Referência: SIDMAN, Murray. “Táticas da Pesquisa Científica”, Ed. Braziliense, 1976.