Gabriela Trindade Perry: HCI, Design Cognition, Flex

Estou escrevendo estes posts conforme leio:estão em ordem cronológica. Os livros/artigos que estão aqui serão a base da bibliografia da minha tese, que será sobre ensino de projeto de interfaces de softwares educacionais. Se você quiser disutir esses assuntos comigo, entre em contato. Estou usando isso para a revisao bibliografica da minha tese. Se voce acha esse material interessante, procure ler os artigos.

NÃO USE ESTE MATERIAL COMO FONTE DE PESQUISA!!!! APENAS COMO FONTE DE ESTUDO.

PS. Os links nos textos sao para ppt que eu preparei sobre os artigos.

A metodologia mais empregada nas pesquisa sobre cognição em design é a análise de protocolo. Resumidamente, pede-se aos sujeitos que realizem uma atividade, que é monitorada (filmada) e posteriormente analisada. Ao conteúdo da filmagem dá-se o nome de “protocolo”: as ações e verbalizações do sujeito enquanto realizava a tarefa. Há diversas formas de conduzir tal análise, podendo ser variadas:

• A quantidade de sujeitos.
• O tempo da tarefa.
• A tarefa.
• A estimulação à falar em voz alta enquanto realiza a tarefa.
• A existência de uma etapa onde o sujeito verbaliza, enquanto observa a filmagem, o que estava pensando / intencionando, posterior à execução da tarefa. Esta forma é conhecida como “investigação retrospectiva”.
• A permissão para fazer perguntas ao examinador.

Nestes estudos, a maior questão é como codificar o protocolo, ou seja: como classificar, dentro de um esquema rígido, o que aconteceu durante a filmagem. Esta elaboração é, em muitos casos, posterior às filmagens.

Antes de proceder aos trabalhos mais específicos, cabe revisar alguns de cunho teórico. Por exemplo, em relação à orientação metodológica da pesquisa, Dorst e Dijkhuis (1995) escreveram que a metodologia empregada reflete as compreensões dos pesquisadores sobre a natureza da atividade de design. Os autores identificam duas abordagens principais: “positivista” (que vê design como rational problem solving) e “construcionista” (de Schon, reflection in action). Estas ramificações serviriam para classificar os métodos de análise de protocolo em

• Orientados ao processo: trata como problem-solving, buscando identificar operadores, estratégias, estados.
• Orientados ao conteúdo: busca revelar os conteúdos dos pensamentos do designer, o que ele faz, vê, lembra.

Ainda em relação aos aspectos metodológicos, Craig (2001) faz uma importante consideração a respeito das implicações teórico / filosóficas em utilizar determinada metodologia de investigação. Numa linha de argumentação similar à de Dorst e Dijkhuis (1995) – a metodologia utilizada além de “iluminar” aspectos diversos da atividade, reflete concepções do pesquisador sobre atividades de design – Craig esmiúça quatro metodologias de pesquisa:

• Think aloud
• Análise de conteúdo
• Isolamento de processo
• Estudos situados

Uma contribuição importante do artigo de Craig é sua interpretação sobre o conhecido método “think-aloud”. Há neste método, segundo Craig, a suposição de uma relação direta entre o que sujeito fala e o que ele pensa.

Sobre esta questão, Craig cita os autores[1] do think-aloud – Ericsson e Simon – que dizem que não se pressupõe um relacionamento direto entre representações externas e internas, mas que aquilo que o sujeito verbaliza representa o conteúdo (ou pelo menos parte do conteúdo) da STM naquele momento.

Ainda nesta linha metodológica, cita-se o artigo An approach to the analysis of design protocols, de Gero e Neil, 1998. Eles sugeriram como usar o método think-aloud para analisar protocolos de design, mas com a ressalva que se permitem criar o esquema de codificação conforme se conhece os protocolos. Os autores salientam ainda que é positivo deixar um intervalo (sugerem dez dias) entre uma avaliação e outra (cada protocolo e codificado duas vezes). A criação do esquema de codificação baseia-se numa separação entre problem domain – onde o designer “se encontra” no escopo do problema – e estrategies – as estratégias utilizadas para avançar na compreensão do problema. O espaço do problema pode ser escrutinado através de

• Behaviors – ações ou processos de um objeto;
• Funções – para que o artefato serve;
• Estrutura – manipulações no objeto para viabilizar uma solução física.

A atividade do designer deve ser considerada como uma seqüência de empregos de micro-estratégias para resolver um determinado problema. Estas estratégias são do repertório de cada designer, e seu emprego dura poucos segundos.

As micro-estratégias estão agrupadas sob macro-estratégias, também voltadas para a resolução de problemas. Estas duram mais que as primeiras.

A imagem abaixo mostra um caso de codificação para um problema de design de equipamento eletrônico. Veja que os níveis de abstração e as estratégias só podem ser identificados após análise dos protocolos.

E estas sao as (micro) estrategias:

E estas as macro-estrategias:

• Top Down (Td) – identifica subgoals enquanto trabalha.
• Bottom Up (Bu) – tenta diferentes configuracoes para ver se “batem” com os requisitos.
• Decomposing the Problem (De) – decomposicao dos goals antes de Td.
• Backtracking (Bt) – designer nao esta certo de como prosseguir. Por isso ele volta e reve o trabalho anterior, talvez modificando.
• Opportunistic (Op) – uma influencia externa provoca uma mudança vantajosa.

Numa linha similar, Suwa, Purcell e Gero (1998)[2] propõe a codificação dos protocolos em quatro níveis[3]:

• Físico: ações sobre ou com relevância no papel.
• Perceptual: atenção a características do desenho.
• Funcional: atribuições que as represnetações no papel podem ter.
• Conceitual: ações que não tem relação com o que está desenhado.

Estes níveis são inter-dependentes, e represnetam níveis altos e baixos de processamento. As relações entre ações de diferentes níveis também são codificadas como

• Dependentes de
• Sugeridas por
• Ativadas por.

Também são classificadas por índices:

• Nova
• Continuação
• Revisitada

Assim, cada ação poderia ser cofidicada, pois há uma quantidade finita de combinações entre nível, índice e dependência de outras ações. Isso dá uma combinação de classificações que os autores afirmam ser exaustiva para a descrição de ações cognitvas de designers. A figura abaixo mostra o caso para ações físicas do tipo “D” (make depictions).

Observe a primeira ação, cujo ID é D_rf. Ela representa uma ação física do tipo “D”, nova, dependente de uma ação “L” que era continuada ou revisitada (o designer estava olhando novamente ou seguia olhando para um desenho). Um benefício do esquema é poder ver as interrelaçoes e dependências entre as ações. Porém, ele parece ser complicado de aplicar.

O método de Ericsson e Simon é bastante referenciado, porém seu emprego nas pesquisas mostra que ele sofreu adaptações, dentre as quais ser orientado ao processo de resolução de problema a partir das representações externas empregadas (e não à investigação de representações internas) e ser enriquecido com sketches e ações correlatas (desvios de olhar, pausas, exame dos desenhos: ver Goldscmhidt, adiante).

Sobre estas adaptações, considera-se importante citar o artigo de Chi (1997) - Quantifying Qualitative Analyses Of Verbal Data - que sugere tais adaptações, que tornam mais robusto – sob um ponto de vista teórico – o emprego da análise de protocolos a partir de ações dos analisandos (CRAIG, 20001). Cynthia Atman, pesquisadora sobre ensino de engenharia, referencia Chi como instrumento de avaliação de estudantes em sua visão do método, ao qual chama VPA: verbal protocol analysys (ATMAN e BURSICK, 1998). Os quadros a seguir mostram algumas diferenças importantes entre a proposta de Chi e de Ericsson e Simon.

Instrução aos sujeitos
Think aloud	Verbal analysis
1.       Devem falar enquanto resolvem um problema. Não devem explicar porque fizeram alguma coisa. 2.       A instrução não deve influenciar o resultado da tarefa.	1.       Devem explicar e justificar 2.       Deve influenciar o resultado da tarefa.

Objetivo
Think aloud	Verbal analysis
1.       Capturar os processos (seqüência de estados) de resolver um problema. 2.       A árvore de estados possíveis é o problem state (estado do problema).	1.       Capturar as representações de conhecimento ao invés do processo 2.       Procurar descobrir qual o modelo para a tarefa o sujeito tem, ao invés de conhecer de antemão o estado do problema

Análise
Think aloud	Verbal analysis
Como já se tem um modelo da tarefa (o estado do problema), é mais fácil fazer a codificação (do que o sujeito verbaliza com o possível estado em que ele se encontra).	Não se tem o estado do problema, logo é difícil determinar onde os sujeitos estão (uma inferência, um plano, uma pergunta).

Validação
Think aloud	Verbal analysis
Degree of match	Métodos estatísticos ou análise qualitativa

Conclusões
Think aloud	Verbal analysis
Tenta identificar estratégias de resolução de problemas através da seqüência empregada	Representação do conteúdo: nenhuma conclusão sobre a estratégia de resolução de problemas. É esta representação que determina o processo de resolução de problema

Como se pode ver nestes quadros, há aspectos importantes nas diferenças entre as metodologias, e que exercem influência não apenas na análise dos protocolos como nos dados obtidos.

Há ainda dois trabalhos importantes, cujas proposições orientam muitas pesquisa na área: o de Goldschmidt (1991) e o de Schon[4].

O trabalho de Goldschmidt, de 1991 – The dialectics of sketching – encontra boa aceitação[5] por sua percepção da atividade de “rafear”[6]. Apesar de afirmar que sua pesquisa foi baseada no método think-aloud, acreditamos que seja mais parecido com o método de Chi. É importante notar que o artigo deGoldscmhidt é anterior ao de Chi. É importante pontuar que Goldschmidt está ciente que o métodolo think-aloud coloca design como problem-solving, mas que ela deixa esta discussão (uso do método vs. natureza do design) para outra hora. Sugere duas modalidades para o raciocínio pictórico (em oposição à proposicional) enquanto sketching:seeing as e seeing that.

Os protocolos (7 arquitetos experientes e um estudante) foram dividos nas “menores unidades de raciocínio”: moves e arguments. Moves seriam atos de raciocínio que apresenta muma proposiçao coerente sobre uma entidade que está sendo projetada (designed). Arguments seriam a menor declaração que estão junto com os moves. A imagem abaixo mostra uma representação dos protocolos.

Especifidades na aplicação da metodologia

O próximo passo nesta revisão é identificar diferentes casos de uso desta metodologia. Começa-se a exposição com o exemplo de Suwa, M e Tversky, B (1997), que investigaram como as ações dos designers poderiam estar conectadas umas às outras. A hipótese delas era que sujeitos mais experientes (2 arquitetos) manteriam uma “linha de raciocínio”por mais tempo que novatos (7 estudantes). Elas pediram para os sujeitos desenharem um museu, e usaram relatos retrospectivos.

As categorias mostradas na imagem abaixo foram usadas para codificar os protocolos.

Depois analisaram dependecias contextuais (CD – contextual dependencies) entre cada segmento. Estas relacoes de dependencia poderiam ser de tres tipos:

1. O item deriva de um anterior
2. Explora o mesmo item que o anterior
3. Uma ideia ou restricao anterior foi generalizada ao segmento atual

As tabelas abaixo mostram os resultados. Na tabela 3 vemos que os arquitetos tem mais foco continuo. Na tabela 4 vemos que os arquitetos tem mais dependency chunks que os novatos. Para chunks com mais de dois segmentos, a diferenca e ainda maior.

As autoras acreditam que isso acontece porque, depois que mudam de foco, os arquitetos pensam mais sobre o problema. Elas acham que eles conseguem “ler” mais (read-off) de seus sketches do que os novatos conseguem. Ja a tabela 5 mostra quais subclasses de informacao ocasionaram as mudancas de foco.

Para ambos, a informacao predominante para mudanca de foco era SPACES, e para segmentos continuos era SPATIAL RELATIONS.

Atman et all (1998), por usa vez, investigaram estudantes de engenharia (26 calouros e 24 formandos), para verificar se os formandos se saiam melhor numa tarefa de design (um playground). As hipóteses eram que os formandos:

• Teriam um design final de maior qualidade
• Passariam maior parte do tempo total no problema
• Desenvolveriam mais soluções alternativas
• Transitariam entre etapas do processo de design mais frequentemente
• Exibiriam um melhor comportamento de problem-scoping

As variáveis nas quais os segmentos eram classificados são mostradas na imagem abaixo.

Atman extraiu diversos dados de sua pesquisa, como mostram as imagens seguintes:

Como pode-se ver nesta imagem, o score de qualidade dos novatos é positivamente relacionado com o tempo total, o número de transições entre etapas, o número de pedidos de informação e o número de categorias cobertas pelos pedidos de informação.

Sobre a verificação das hipóteses:

• Teriam um design final de maior qualidade: verificada
• Passariam maior parte do tempo total no problema: não verificada. Formandos  e freshmen passaram um tempo equivalente resolvendo o problema. Para os novatos, esse tempo se relaciona positivamente com a qualidade do resultado (ρ=0.55).
• Os graduandos desenvolveriam mais soluções alternativas: não verificada. Novatos e seniors consideraram uma quantidade similar de objetos. Para os seniors, essa quantidade se relacionava com a qualidade (ρ=0.68).
• Os graduandos transitariam entre etapas do processo de design mais frequentemente: verificada. A quantidade de transições se relaciona, em ambos grupos, com alta qualidade, porém com mais força para os novatos (ρ=0.66) e (ρ=0.47).
• Os graduandos  exibiriam um melhor comportamento de problem-scoping: verificada. Eles coletaram mais informação e cobriram mais categorias que os novatos.

Outros dados extraídos desta pesquisa são:

• Para os novatos, há uma relação negativa entre o tempo gasto na definição do problema e a qualidade da solução.
• Nenhum dos grupos conseguiu julgar adequadamente seu resultado final.

Kavakli, M; Gero, J S. (2001) afirmam haver diferencas no balanco entre acoes cognitivas entre novatoes e xperts. Os autores usaram o esquema de codificacao de Suwa, M e Tversky, B (1997) e acrescentaram codigos para acoes cognitivas, conforme as tabelas abaixo.

O resultado foi que os protocolos dos designers experientes tinham 2916 acoes e 348 segmentos, enquanto o dos novatos tinha 1027 acoes e 122 segments (mesma tarefa e mesmo tempo de execucao). Ja a imagem abaixo mostra as diferencas entre as frequencias das acoes cognitivas. Como se pode ver, os experts aumentam sua produtividade ao passo que os iniciantes diminuem (ambos a um ritmo de 11%). Um chi-quadrado mostrou que ha diferencas nas categorias PERCEPTUAL ACTION e GOALS .

Referências

Atman C., Chimka J. R., Bursic K. M., Nachtmann H. L.  A comparison of freshman and senior engineering design processes. Design Studies 20 (1999) 131-152

Atman CJ , Bursic K M. Verbal Protocol Analysis as a Method to Document Engineering Student Design Process. Journal of Engineering Education V 88 (2), 1998, pp121-132.

Chi, M. Quantifying Qualitative Analyses of Verbal Data: a Practical Guide. The Journal of the Learning Sciences, 6(3), 271-315, 1997

Craig, D. L. Stalking Homo Faber: A Comparison Of Research Strategies For Studying Design Behavior. In: Design Cognition, Design Knowing e Learning. Editado por Charles Eastman, Mike McCracken e Wendy Newstetter. Elsevier, 2001

Dorst, K; Dijkhuis, J. Comparing paradigms for describing design activity . Design Studies 16 (1995) 261 274

Gero, J S; Neil, T Mc.  An approach to the analysis of design protocols. Design Studies 19 (1998) 21~1

Goldschmidt, G. The dialetics of sketching. Creativity Resarch Journal, 4 (2), 123-143, 199

Kavakli, M; Gero, J S. Sketching as mental imagery processing  Design Studies 22 (2001) 347-364

Suwa, M; Tversky, B. What do architects and students perceive in their design sketches? A protocol analysis. Design Studies 18 (1997) 385-103

Suwa, Purcell e Gero. Macroscopic analysis of design processes based on a scheme for coding designers’ cognitive actions. Design Studies 19 (1998) 455-483

---

[1] Usado em pesquisas de design cognition

[2] Note que John Gero é co-autor das duas pesquisas, que foram publicadas no mesmo ano.

[3] O esquema de codificação usa a idéia de categorias de informação de Suwa e Tversky (1997), e também as filmagens feitas destes autores.

[4] Esse eu fico devendo por enquanto… Tenho que tirar o livron da biblioteca para ler e resumir

[5] 30 citações, ver http://citeseerx.ist.psu.edu/showciting?cid=593081

[6] Usa-se este termo como tradução para o verbo “to sketch”. “Rafe” é uma adaptação do inglês “rough”, que indica um desenho “cru”, “inacabado”. Um sketch.