Experimentos para avaliar produtos: Processo em 5 fases

Um simulador sendo experimentado
por instrutores de uma autoescola

Minha atual consultoria em UX é a de avaliar simuladores de motocicleta para o governo federal. Como já falei em outro post sobre procedimentos de pesquisa, há uma porção deles. O segredo é escolher o procedimento (ou conjunto deles) mais adequado para cada projeto.

No caso dos simuladores foi uma determinação do cliente que fosse o procedimento de pesquisa mais complexo e desafiador de todos: a análise experimental. Em outras palavras, experimentos com pessoas para avaliar o produto.

Há diversos motivos que tornam a pesquisa experimental desafiadora. Ela tende a ser mais complexa e cara que uma simples observação, e muitíssimo mais cheia de variáveis para levar em conta que uma entrevista, e muito mais condições de controle que uma pesquisa etnográfica.

Importante destacar que pesquisa experimental não é uma dinâmica de grupo ou focus group onde simplesmente se expõe um produto e se pergunta sistematicamente o que as pessoas acharam. Nada disso. É algo bem mais controlado e rigoroso que isso para extrair dados pertinentes.

Para que serve uma pesquisa experimental? Murray Sidman (1976), diz que ela pode ter 5 serventias:


a) Avaliar hipóteses pré-estabelecidas. Então você quer validar uma ideia? Acha que precisa  ver pra crer se o produto é mesmo bom? Desconfia que ele tem uma falha? Experimente!

b) Satisfazer curiosidade. O que será que as pessoas pensarão, sentirão e farão com o produto uma vez que tenha experimentado-o?

c) Testar novo método ou técnica. Trata-se de explorar possibilidades de uso da maneira mais precisa de todas: pondo gente para usar em condições controlados e vendo o que acontece. 

d) Estabelecer a existência de fenômenos. Nunca se sabe o que acontecerá ao certo quando as pessoas põem a mão no que você fez... Ou melhor, se sabe sim: experimentando.

e)  Investigar em que condições um dado fenômeno ocorre. Ok, você já sabe que tal coisa vai acontecer durante o uso. Mas falta saber que condições exatamente explicam o fenômeno!

Um experimento no fundo não passa de uma observação,
mas feita em condições muito controladas e rigorosas.

E como se faz uma pesquisa experimental?? Sidman prossegue sugerindo 5 fases mais ou menos intercambiáveis:

1 - Planejamento - Onde se faz revisão bibliográfica, se decide como serão os experimentos (quantas pessoas, com que delineamento experimental, que variáveis independentes, quais variáveis dependentes, etc)

2 - Preparação - Onde se calibra os instrumentos de observação e registro de dados; se prepara o ambiente controlado que servirá de laboratório; se faz um ou mais estudos piloto para testar tudo.

3 - Execução dos Experimentos - Onde ocorrem os testes, tudo é observado, dados são coletados. É a parte mais fácil em termos de decisões, porém mais longa e trabalhosa. Registrar com precisão os dados é condição sine qua non seu Design, mais tarde, será baseado em evidências.

4 - Tratamento dos Dados - Onde tudo que foi coletado na fase anterior é analisado, interpretado, modelado para se tornar informação útil pro projeto. Aqui entra mais análise estatística das variáveis registradas. Gosta de Matemática?

5 - Apresentação dos Resultados - Onde é hora de finalmente mostrar algo, embasado em evidências e numa linguagem apropriada, que fará diferença para a equipe tomar decisões sobre o projeto.

Aguardem que em breve tem mais sobre pesquisa experimental!




Referência: SIDMAN, Murray. “Táticas da Pesquisa Científica”, Ed. Braziliense, 1976.

Avaliando a Experiência do Usuário

Estou lendo uma dissertação de mestrado do Design da UFSC. Eis a capa na foto aí do lado.

Título: "Avaliação de Experiência do Usuário durante o desenvolvimento de um aplicativo social móvel". É de 2013, e do Gabriel Cordeiro Cardoso. Por sinal, o Gabriel foi orientando da minha atual orientadora: Berenice Gonçalves.

O texto começa com uma explicação do que é Experiência do Usuário, ou User eXperience, UX. Uma breve revisão histórica mostra como esse termo foi inventado por Donald Norman no início da década de 1990, para em seguida ser apropriado por tanta gente, de tantas diferentes maneiras, que se tornou um tanto vazio e banalizado (Segundo o próprio Norman).

Me chamou a atenção como a maioria dos autores enfatiza emoções e estados psicológicos como fundamentais para entender a UX. Apenas um autor pesquisado, Jesse Garrett, enfatiza o lado tecnológico e o Design da interface. A maioria, contudo, fala mesmo é de aspectos ditos subjetivos, como Hassenzahl, Shedroff, Cooper  e até mesmo a ABNT (no CEE 126, de 2010, onde diz que UX é fundamentalmente "satisfação psicológica").

Um autor que ainda predomina é o próprio inventor do termo UX: Donald Norman. Este defende que a UX deve ser avaliada em três momentos no tempo:

a) no primeiro bater de olhos no produto (que gerará um nível "visceral" de reação, instintivo. Se preferir um termo analítico comportamental, reflexos incondicionados e condicionados, relacionados a emoções que geram um instantâneo "gostei" ou "não gostei"). Há formas de avaliar isso que envolvem questionários e entrevistas (relatos de segunda mão), mas registrar expressões faciais e até sinais fisiológicos também são um bom caminho, bem mais confiável, para entender reações emocionais do usuário. OBS: Em termos analítico-comportamentais, isso se trata de determinantes filogenéticos pois envolvem respostas ligadas fundamentalmente a anatomia e fisiologia do usuário, como por exemplo o reconhecimento de affordances.

b) em seguida, o produto é usado e a pessoa tem um nível "comportamental" de avaliação. Ela entende que ele é útil ou não, fácil ou não, eficaz ou não, etc. A melhor forma de avaliar isso é através de indiadores de desempenho do usuário. Por exemplo, sua curva de aprendizagem no uso do produto, ou sinais objetivos de se o usuário atingiu seus objetivos ou não. OBS: Em termos analítico-comportamentais, isso se trata de determinantes ontogenéticos.

c) para fechar, depois de considerar a primeira batida de olhos (nível visceral) o uso (nível comportamental), a pessoa faz associações do produto com sua história de vida, com elementos de sua cultura, seu meio social, e cria narrativas na qual valoriza o produto. Nesse momento, chamado por Norman de "nível reflexivo" de avaliação, a pessoa cria significados para o produto, gerando uma UX de mais longa duração em sua memória. A melhor forma de avaliar esse nível de reação é qualitativa e interpretativa, e envolve decifrar os valores simbólicos atribuídos à UX. OBS: Em termos analítico-comportamentais, isso se trata de determinantes sociogenéticos.

Avaliar a UX envolve 3 momentos da experiência: primeiro contato;
uso propriamente dito; e criação de narrativas geradoras de significados.

Avaliar a UX, portanto, necessariamente envolve esses 3 níveis, ou momentos, de análise. E cada um deles pede instrumentos e procedimentos próprios.

Voltando à dissertação do Gabriel, ele avaliou um app de celular primeiramente com escalas e questionários para registrar a reação visceral dos usuários antes de usarem o produto. Em seguida, avaliou a usabilidade e o atendimento das necessidades do usuário (nível comportamental). Para fechar com um painel semântico afim de obter dados do significado do app no plano reflexivo.

Para quem ficou interessado, eis aqui o link da dissertação do Gabriel.

Projetar games e apps sociais levando em conta METACONTINGÊNCIAS

Outro dia eu disse aqui que fazer design de UX é, basicamente, programar contingências. Isto é, projetar produtos levando em conta as situações que criam, as ações que despertam e as consequências dessas ações. (A "fórmula" da contingência é Situação -> Ação -> Consequência da ação na situação).

Tudo isso, contudo, se aplica a produtos de uso individual. Ao projetar uma cafeteira você programará contingências de uso desta. 

Mas e se o produto for de uso de mais de uma pessoa ao mesmo tempo? Daí há analistas comportamentais que dizem que são metacontingências que devem ser pensadas.

O que é uma metacontingência? Seria um tipo especial de contingência, que explica os fenômenos sociais, porque prevê uma condição em que ao menos 2 pessoas vão interagir para gerar um mesmo resultado composto. Esquematicamente:

Assim, projetar produtos de uso compartilhado, como games on line e apps sociais, seria programar metacontingências (Além de contingências das comuns). Em outras palavras, planejar muito bem situações que levam pessoas a interagir, e a forma como essa interação as afeta, as motiva, gerando resultados compartilhados.

Isso tudo me lembra a matemática da Teoria dos Jogos, que estuda exatamente a tomada de decisão em situações conflituosas.

Projetar em game on line é pensar em muitas situações
de cooperação e competição entre seus jogadores

Achei um material sobre isso que vale a pena citar. "UMA ANÁLISE DE CONTINGÊNCIAS E METACONTINGÊNCIAS EM UM JOGO ON-LINE". Os autores, analistas comportamentais, mostram como determinadas metacontingências de World of Warcraft geram engajamento nos jogadores.

O conceito de metacontingência ainda é controverso. Há pouca comprovação experimental. Mas leva a pena pensar na sua mensagem para o Design. Isto é, que se o produto for social então a interdependência bem planejada dos usuários pode ser mesmo a chave do sucesso deste.

Criatividade & Design: o que filosofar tem a ver com isso ?

Que Design é associado a criatividade todo mundo sabe. Há diversos estudos sobre o processo criativo do designer, e sobre como se dá a heurística por trás de insights, feelings, saltos qualitativos em formas de pensar e ver as coisas.

Mas o que filosofar tem a ver com isso?

Associada ao raciocínio abstrato, a Filosofia
também é uma forma de refinar a intuição

Segundo Françoise Raffin, autora de "Pequena Introdução à Filosofia", tem muito a ver. A autora diz que a Filosofia não é (apenas) um campo de conhecimentos livrescos, cristalizado, mas é uma experiência, uma forma metódica de encarar a realidade com abertura e, com isso, manter-se criativo.

Todos que praticarem a forma filosófica de encarar o dia-a-dia se tornarão mais criativos. E como se dá isso?

Raffin faz uma brilhante exposição ao longo das 194 páginas do livro, que eu resumo desta forma:

Fase 1 - IMAGINAÇÃO DESPRENDIDA DO REAL IMEDIATO

1 - A pessoa parte de sua experiência sensorial, concreta, numa visão ingênua, sem questionamentos. Essa é a matéria-prima.

2 - Percebe que sua visão das coisas está cheia de mal entendidos, confusões, ilusões, e diferente da dos outros

3 - Os conflitos de entendimentos do item anterior geram desconforto, inquietação, dúvidas, espanto. A pessoa passa a imaginar formas possíveis de resolver esses problemas.

Fase 2 - A CRIAÇÃO DO PLAUSÍVEL

4 - Formula maneiras alternativas de pensar a realidade, diferente das comuns, mas mais aceitas, da palavra das autoridades no assunto e da tradição. O que importa aqui é gerar ideias meramente plausíveis.

5 - Expressa esses insights em alguma linguagem compreensível para si mesma e para os outors .

Fase 3 - O REFINAMENTO RUMO AO SENSATO

6 - Expõe suas visões para os outros, e confronta ideias através de debates sensatos e regrados, visando chegar a um entendimento mais refinado. Procura nos outros uma maneira de refinar suas concepções. 

O que existe? O que poderia existir ?

7 - Prototipa teorias e testa esses modelos no laboratório do diálogo. Aplica de técnicas e regras de produção  oriundas também da experiência do outro. Entende que refutações, polêmicas e crises criativas são parte do jogo, e devem ser encaradas de maneira racional.

Fase 4 - A CONCLUSÃO: CHEGANDO AO NOVO

8 - Usa de critérios lógicos para decidir quando sua criação está completa. Isto é, filtra racionalmente todas as suas ideias plausíveis e sensatas (que passaram pelo crivo dos outros), até que reste algo não meramente promissor, mas sim "que pára em pé".

Filosofar envolve todos esses comportamentos, que remetem a sensatez, racionalidade, diálogo e abertura ao novo. Por isso ser criativo, seja no Design ou qualquer outra área de saber, pede uma atitude filosófica, no lugar de uma dogmática.




Referência do livro: clique aqui.

Nathan Shedroff, narrativas e experiência do usuário

Estava assistindo um video em que o renomado Marc Hassenzahl fala sobre User eXperience. Lá pelas tantas, Hassenzahl é perguntado sobre o que é ao certo a UX. E ele começa a falar sobre memória e narrativa. 

Eis aí o vídeo (especial atenção à última parte, a 10:40):

Se você prestar bem atenção, ele fala da UX como algo que o usuário consegue lembrar (por ser marcante), e contar no formato de uma narrativa com valor pessoal para si. Ou seja, a UX como algo que afeta, ou acrescenta, a história do usuário.

A nível comportamental, memória é um nome que damos para como experiências nos mudam de forma significativa. Não guardamos memória como se fosse mobília. No lugar disso, as experiências que vivenciamos nos mudam, formam histórias que afetam nossos comportamentos permanentemente.

Essa fascinação de Hassenzhal, que é doutor em Psicologia, pela importância da recordação para a UX, e de como ela é expressa de maneira narrativa, me lembrou outra referência. "Experience Design", de Nathan Shedroff.

Para Shedroff, projetar experiências é como escrever um roteiro
para uma história que você quer o que usuário vivencie

Para explicar como se projeta uma experiência, Shedroff remete à "Retórica", de Aristóteles. Para ser mais preciso, à ideia aristotélica de que o discurso de função persuasiva é estruturado em 4 fases: 

a) exortar a audiência para prestar atenção

b) contar uma história tematicamente relacionada com o objetivo da persuasão

c) explicar o sentido da história, sua moral

d) convocar a audiência para seguir a lição da história, mudando algo em seus comportamentos

Para Shedroff, o UX Designer deve se preocupar em projetar histórias possíveis e desejadas de serem vivenciadas. Essas histórias afetarão o usuário (serão persuasivas) de modo que ele se sinta ou faça algo intentado pelo projetista.

No final das contas é a história, como parte da memória, que forma a User eXperience que é relatada pelo usuário.

Todo bom produto ajuda o usuário a vivenciar histórias.
Um barbeador pode ser personagem de uma sobre amadurecimento.

Projetar UX é como criar roteiros abertos dos quais histórias emergirão graças às ações dos usuários. Isso é especialmente verdadeiro quando a UX se dá em games (que são narrativas interativas por definição), mas também se aplica a qualquer tipo de produto.  Até um barbeador elétrico bem feito rende-nos boas histórias para contar...

Meu primeiro artigo sobre Interfaces Tangíveis

Meu tema de mestrado é Interfaces Tangíveis. Ele é de meu especial interesse por ligar temas como percepção, motricidade e cognição situada e aplicar tudo isso ao design de produtos interativos.

Um videozinho pra ilustrar a área: 






Estou terminando  meu primeiro artigo sobre, e vendo onde publicar.

Confiram o resumo:


"O presente artigo trata da relação entre cinestesia e interfaces tangíveis. Isto é, o uso de movimentos corporais e gestos para emissão de comandos em interfaces capazes de responder a esses dados. O estudo enfoca o desenvolvimento de simuladores veiculares para treinamento de habilidades de direção em condutores. A importância do presente estudo se encontra na necessidade de projetar simuladores educacionais que melhor aproveitem informações cinestésicas de seus usuários, inseridos em um ambiente físico de imersão, para garantir uma experiência de treinamento mais eficaz. O presente artigo tem por metodologia de pesquisa uma revisão bibliográfica envolvendo termos correlatados com seus principais conceitos. Os resultados da revisão apontaram uma escassez de produção sobre interfaces para simuladores, e como tendências em pesquisa a interação com objetos físicos e a realidade aumentada em áreas de aplicação como tecnologias para sala de aula e para saúde. O artigo conclui apresentando possíveis aplicações no desenvolvimento de simuladores veiculares, especialmente apontando lacunas teórico-metodológicas em design de interface nessa área".

O que um UX Designer faz ?

A UX é consequência das ações
do usuário no contexto de uso

No post anterior falei o que é User eXperience (UX), em uma perspectiva comportamental.

Mas, definido o que é UX surge outra pergunta: "O que um UX Designer faz ao certo?", ou "Como assim é possível projetar UX ?"

Para responder a essa pergunta, breve recapitulação.  UX é o conjunto de consequências originadas de:

a) um usuário emitindo ações particulares (o que fez) em

b) um dado contexto de condições de uso (onde, com o que, como, pra que, etc)

E essas consequências costumam ser complexas, e girar em torno de diversas categorias intercaladas como estados de satisfação; emoções; cognições; aprendizagens; etc.

Ok, ok. Mas quando alguém diz que vai projetar a UX de artefato o que a pessoa fará, precisamente?

Defendo que aí costuma ocorrer umas confusões muito comuns. Como disse o Fabrício Teixeira neste ótimo post do blog dele, muita gente está na verdade projetando interfaces (fazendo Interaction Design), e dizendo que faz UX; ou fazendo Arquitetura de Informação e dizendo que faz UX.

O que essas pessoas têm em comum? Elas não pesquisaram o comportamento do usuário (talvez nem saibam direito fazer isso, ou nem tenham solicitado!), mas mesmo assim falam que fazem UX. Estão enfatizando o item "condições de uso", (que envolve o artefato em si, que funções tem, sua interface, como deve ser usado, etc), e ignorando a parte de que terá pessoas usando.

Projetar uma interface não é projetar UX.
É no máximo montar o palco onde a UX ocorrerá.

O UX Designer deve sim entender da parte "condições de uso". Isto é, deve saber de Ergonomia, Design Gráfico, Usabilidade, etc.  Mas isso é apenas parte. Para projetar UX ele deve entender de comportamento humano. Isto é, quem são as pessoas que usarão seu produto, o que pensam, o que sentem, desejam, como vivem, etc. Fora isso, precisa entender a UX não é nem as condições tecnológicas de uso e nem o comportamento em si do usuário, mas sim as consequências da interação deste com aquele.

Projetar UX é lidar com algo difícil de pegar, congelar, medir e entender, porque é lidar com eventos comportamentais (sentimentos, pensamentos, expectativas, etc). Projetar UX, por isso, é mais como programar relações entre condições e ações que afetam essas condições. Na linguagem comportamental, é programar contingências de reforçamento. 

Focar nas ações observáveis do usuário não é o bastante:
a parte interessante está nas consequências dessas ações.

Disse B. F. Skinner, em "Sobre o Behaviorismo" (1978), que programar contingências é planejar a distribuição do reforço certo, no momento certo, da maneira certa, visando a realização de objetivos que envolvem determinados comportamentos de alguém para serem atingidos. Ou seja, programar contingências é preparar condições (do artefato, do ambiente, da interface, do usuário, etc), para que determinados objetivos estratégicos desejados pelo projetista sejam alcançados. O que implica, dentre outras coisas, que o UX Designer faz necessariamente um Design Estratégico, orientado por objetivos que vão além do técnico-operacional.

Mas sobre programação de contingências falarei mais outro dia...