UX Research Case Study- Análise Textual e Cruzamento de Dados
Projeto de estágio realizado na empresa Harmo — Feedback Intelligence
Discovery
Criação de projeto que realize análise textual das palavras que são positivas, negativas e neutras, e que faça a separação por tag. Criação de um segundo nivel em modelo de gráfico, podendo exibir até 3 camadas de insights para os usuários.
A ideia seria utilizar uma inteligência artificial que pudesse exibir por meio de gráfico insights positivos,negativos e neutros das palavras que foram separados nos reviews e comentários das pessoas.
Estória de usuário:
O consumidor foi na loja física, avalia estruturas, loja e produto e está recebendo o atendimento de outra pessoa, faz ou não a compra de um produto, realiza o pagamento caso tenha comprado e sai com o seu produto em mãos.
Esse consumidor pode fazer avaliações em sites, pesquisa de usuário via ou celular e irá falar sobre a loja para outras pessoas.
Insights
Trazer um gráfico demografico(ou parecido) para avaliação dos reviews de quais lojas estão com maiores dificuldades, onde estão os pontos de contato com maior dificuldade (conforme a avaliação no site) e dentro desse problema da loja estariam formas de aumentar o NPS da loja por exemplo, e dentro dessa análise já traz alguma análise a mais financeira sobre a taxa de conversão de clientes, ganhos financeiros aumentados (estatístico).
- São exemplos e ainda estara sendo trabalhado qual o tipo de analise trazer
Clientes avaliam no google meu negócio,facebook, google maps, ifood, tripadvisor , whatsapp(conta comercial).
Objetivo: Aumentar as vendas dos clientes e diminuir a taxa de detratores por meio de insights que o sistema da Harmo pode realizar via análise textual.
Objetivos do Projeto
- Avaliar quais as melhores formas de leitura e de trazer a informação na interface (tags, cores menos densas no texto, mais densas nas tags);
- Pesquisar os tipos de gráficos que mostram densidade e peso (tipo geográfico);
- Coleta de dados sobre a forma de apresentação do grid e do cruzamento de dados em tela;
- Ordenamento dos dados, qual sequência seguir?;
- Quais dados apresentar, quais são as métricas importantes e básicas?;
- Como realizar essa navegação de fluxo entre telas para não haver conflito de percepção, quais componentes utilizar(camadas, drawer, abas, menus);
- Criar um fluxo de navegação do usuario (foram criados cards e wireframes);
- Criar um roteiro de entrevista para o usuário final para descobrir o tipo de avaliação que eles realizam as próprias avaliações;
- Criação dos wireframes interativos e navegaveis(insights de negócio);
- Apresentação do resultado compilado.
Benchmarks
O Qualtrics CustomerXM (CX) é uma plataforma ágil para melhorar a experiência do cliente, tornando fácil para as empresas monitorar, responder e melhorar cada momento-chave ao longo da jornada do cliente e integrar os comentários do cliente a todas as decisões. Com painéis flexíveis baseados em funções, gestão dinâmica de casos e integração total com o CRM.
Detalhe de negócio que a Qualtrics traz em seu site “ Identifique os tópicos emergentes antes que virem problemas generalizados, garantindo que suas alterações se tornem resultados esperados”, comentando sobre análises mais profundas e que tragam mais valor ao négocio e segmento do cliente, conforme suas avaliações e reviews.
Medallia
Plataforma de gestão de experiência do cliente que ajuda empresas de todos os portes a capturar e analisar os comentários dos clientes em todos os canais de comunicação para melhorar o valor geral da marca.
Binds.co
Criado para empresas de varejo e serviços que desejam medir os níveis de satisfação de seus clientes e adotar estratégias estruturadas para atender os consumidores com experiências negativas.
Pequenas e médias empresas que precisam transformar texto em dados acionáveis. Os usuários variam de profissionais de marketing a vendedores, equipes de suporte ao cliente, analistas de dados, desenvolvedores, entre outros.
Possui um dashboard bem completo com uma estrutura de analise por tópicos, indices, os comentários no eixo central dentro dos widgets, e os filtros no canto esquerdo.
Estrutura clean e simples para uso nos wireframes
Definição de variáveis e requisitos
Análise textual é feita via IA e requer as seguintes análises:
Análise da Conversação, Pragmática, discurso linguístico textual, sintaxe e semântica.
Exemplos de código para IAs para análise:
Código simplificado para análise:
Análise Morfológica — significado na linguagem de vocabulos
A função morfológica consiste em identificar palavras ou expressões isoladas numa frase, sendo este processo feito com base em delimitadores como a pontuação e espaços em branco. As palavras identificadas são classificadas de acordo com a sua categoria gramatical. Neste contexto, uma palavra numa frase gramaticalmente válida pode ser substituída por outra da mesma classe, e a frase continua a esta correcta (exemplo: substantivos, pronomes, verbos, etc.). Dentro de um mesmo genero de palavras, existem regras que caracterizam o comportamento de um subconjunto de vocábulos da linguagem (exemplo: formação do plural de substantivos terminados em “ão”, flexões dos verbos regulares terminados em “ar”, etc.).
Assim, a morfologia trata as palavras quanto à sua estrutura, forma, flexão e classificação, no que se refere a cada um dos tipos de palavras. O emprego de um software que se ocupe da análise morfológica é fundamental para a compreensão de uma frase, pois para formar uma estrutura coerente é necessário compreender o significado de cada uma das palavras que a compõem .
Exemplo: abraçar-abraçando-abraço _ gritar- gritando-grito
Análise Pragmática e Semântica — significado da palavra
A semântica está relacionada ao significado, não só de cada palavra, mas também da expressão. O processo consiste em analisar o sentido das estruturas das palavras que foram reagrupadas pelo analisador sintático, uma vez que o analisador morfológico permitiu identificar estas palavras individualmente.
Pode dizer-se que a semântica desdobra-se em semântica léxica e em semântica gramatical. A semântica léxica busca uma representação conceitual para descrever o sentido, sendo que, para construir esta representação, pode ser feita a decomposição semântica das unidades léxicas (em primitivas ou em traços semânticos), ou podem ser utilizadas redes semânticas. Esta última forma de representação foi originada da psicologia e leva em conta a forma como os seres humanos categorizam e memorizam conceitos.
Funções semânticas: especificam os papéis que cada referente, representado por termos, tem em relação ao estado de coisas : agente, meta, recipiente, beneficiário etc.
Funções sintáticas: especificam a prespectiva segundo a qual o estado de coisas é apresentado na expressão linguística: sujeito e objeto.
Funções semânticas: especificam o estatuto informacional de cada elemento de uma predicação: tema, tópico, foco etc. (BRITO, 1994, p. 82).
Associa um significado a estrutura sintática;
Considera os significados das palavras;
Análise para extrair um significado de uma declaração
Exemplo:
Frase: A menina comeu um pastel.
Semântica: uma pessoa alimentou/digeriu um alimento.
Pode-se representá-la por uma rede semântica:
A análise pragmática interpreta o todo e não somente de uma parte:
Verifica se o significado da análise semântica está correto;
Determina significados que não estejam claros;
● Palavras se associam em:
Paradigmáticas: através de um significado.
Exemplo: “nadar” e “água”.
Sintagmáticas: conectam palavras frequentemente encontradas em um mesmo assunto. ex.: “água” e “poço”.
Modelos de classificação semântica
Classificação de tópicos : classificação de texto em categorias predefinidas com base em seu conteúdo. As equipes de atendimento ao cliente podem querer classificar os tíquetes de suporte à medida que chegam ao suporte técnico. Por meio da análise semântica, as ferramentas de aprendizado de máquina podem reconhecer se um ticket deve ser classificado como um “problema de pagamento” ou um “problema de envio”.
Análise de sentimentos : detectar emoções positivas, negativas ou neutras em um texto para denotar urgência. Por exemplo, marcar menções no Twitter por sentimento para ter uma ideia de como os clientes se sentem em relação à sua marca e ser capaz de identificar clientes insatisfeitos em tempo real.
Classificação de intenção : classificar o texto com base no que os clientes desejam fazer em seguida. Você pode usar isso para marcar e-mails de vendas como “Interessado” e “Não interessado” para alcançar proativamente aqueles que desejam experimentar seu produto.
Análise Sintática — da frase
Enquanto o analisador léxico-morfológico lida com a estrutura das palavras e com a classificação das mesmas em diferentes categorias, o analisador sintático trabalha com o agrupamento de palavras, analisando a constituição das frases. Avalia a gramática da linguagem utilizada.
A análise sintática (parsing) é o procedimento que avalia os vários modos de como combinar regras gramaticais, a função da palavra na frase, com a finalidade de gerar uma estrutura de árvore que represente a estrutura sintática da oração analisada Se a frase for ambígua, o analisador sintático irá obter todas as possíveis estruturas sintáticas que a representam.
O papel do processamento sintático varia em importância. Tradicionalmente, ocupa posição de destaque, com a semântica sendo considerada uma interpretação da sintaxe, mas, também, pode ser considerado em posição secundária, de acordo com os pesquisadores denominados semântico-gerativistas. Neste último caso, a sintaxe é uma projeção da semântica. Entretanto, qualquer que seja a visão adotada, o processamento sintático é uma etapa indispensável para viabilizar o processamento semântico.
Card Sorting
Busca avaliar a navegação de dados e de telas, de forma a estrutura irá se conectar para no momento de criar a interface o conceito pensado com o uso das variaveis de negócio se apresente viavel para implementação no software:
Card sorting criado no Figma
Boas práticas na criação de dashboards
Roteiro de Entrevista
Objetivo: Descobrir como os consumidores finais se relacionam com avaliações para as lojas, no Google meu Negócio, iFood, Facebook, TripAdvisor e etc.
Quando o usuario fica indeciso e envia algo positivo e negativo nas avaliações. O que pende mais para cada pessoa, o negativo, o positivo, se a loja for muito boa, ela realmente dá uma avaliação mais negativa? Tenta descobrir um pouco sobre o percepção e modelo mental de tomada de decisão das pessoas, o que influencia na hora de enviar a avaliação.
Quando você vai avaliar uma empresa você deixa um comentário relatando sua experiência?
- nunca deixo comentário
- (colocar um range)
- sempre deixo comentário
Ao realizar compras , você faz avaliações no site/app que você comprou?
- deve ter pergunta sobre satisfação ou insatisfação
Sim:
- Você geralmente avalia a loja quando está satisfeito ou insatisfeito?Ambos os casos?
Satisfeito:
- Porque você considera avaliar a loja apenas quando está satisfeito(a)?
Insatisfeito:
- Porque você avalia a loja apenas quando está insatisfeito(a)?
Ambos:
- Você gosta de escrever tudo que achou de bom e ruim da loja?Porque?
Qual o app/site que geralmente você faz avaliações?(iFood, Shopee, Amazon, Facebook, no Google Maps, Whats da Loja (outro app que mais compro);
Você é uma pessoa que gosta de conversar sobre outras lojas, produtos, comidas e serviços?
Sim:
- E você costuma falar mais sobre quando a loja te vendeu algo muito bom? Ou quando foi ruim? (Da para por aqueles progress indicator, para avaliar se a pessoa falar bem mal, neutro)
Não:
Gostaria de compartilhar um caso que aconteceu com você e mais marcou a sua vida de consumidor?
Não(condition da primeira pergunta):
- Porque você não faz avaliações das compras? (Deixar aberto)
Resultados da Entrevista
Objetive 38 respostas e em projetos de experiência de usuário possuindo uma média de 5 usuarios(Nielsen) na pesquisa já é possivel avaliar o comportamento da média de respostas:
Uma maioria de 55% das pessoas respondentes comentou que realiza no site/app ou a loja que realiza compras.
Quanto as pessoas que não realizam avaliações as respostas destacam que é porque esquecem, tem preguiça, consideram perda de tempo e também demorado.
Em média 31 pessoas avaliam as lojas em ambos os casos, quando estão satisfeitos e insatisfeitos.
Apenas 5 respostas comentaram que avaliam quando estão satisfeitos para auxiliar no crescimento do comércio:
- só falo quando o atendimento é muito bom, mas faz muito tempo que não ocorre;
Avalio quando estou satisfeito ou insatisfeito, é indiferente. É importante o feedback para melhorar a experiência do cliente.
- Acredito que quando faço essa avaliação, ajuda na decisão de outras pessoas e ajuda também a loja em si.
Por que quero incentivar o crescimento daquele comércio
As outras 7 respostas foram sobre quando estão insatisfeitos e que realizam a avaliação:
- para mostrar minha insatisfação e mostrar que a loja pode melhorar e não errar com outros clientes;
Eu coloquei ambos, mas eu acredito que fico mais propensa a fazer um comentário negativo pros usuários saber o que pode ter de ruim. Se for algo positivo, só quando é algo bem positivo.
- Deixo meu feedback como maneira de colaborar para a melhoria da empresa, para melhorias;
- Ainda não tive experiencia ruim com lojas onlines;
Por que tenho motivos pra despromover a marca, e não deixar outros clientes terem o mesmo problema que o meu.
Dentre os locais/apps que mais são avaliados foram o iFood, apps chineses, Amazon e 6 pessoas responderam que já fazem avaliação na loja e 5 pessoas avaliam no Mercado Livre.
Quanto a questão de que as pessoas gostam de conversar sobre suas compras e de trocar ideias, observando se são do tipo promotores, neutros ou detratores, em média 12 pessoas são neutras, ou promotores. E 30 pessoas responderam que gostam de falar sobre lojas, produtos, comidas e serviços.
Os resultados demonstram que as pessoas não gostam de fazer avaliações, mas quando realmente desejam faze-la geralmente fazem em ambos os casos, quando estão satisfeitos e insatisfeitos, e também para dizer se a loja é boa, quando a experiência foi muito ruim também realizam a avaliação para avisar outras pessoas que não devem comprar naquela loja.As avaliações são realizadas no geral quando pendem para o extremo da satisfação ou insatisfação.
O que de fato influencia nas avaliações e nas decisões é o quanto a experiência foi positiva ou negativa refletem na avaliação final do usuario e na forma que ele escreve o review.
Ideação
Fazer a separação do que é negativo em vermelho, do que é positivo em verde, em amarelo aqueles com características menos importantes e os neutros em cinza e para separação dos gráficos serão utilizadas as mesmas cores e então uma numeração junto da tag. Além de separar por estabelecimento, site e outros dados que digam de qual local foi comprado.
Interfaces de referência:
Análise de cards para testes em protótipos e Wireframes
Review neutro
Review satisfeito
Review insatisfeito
Wireframe
Wireframes auxiliam no reconhecimento da navegação, conceito, modelo inicial, além de utilizarem menos tempo para validar e viabilizar ideias que os stakeholders tem em mente no momento do desenvolvimento do projeto.
Indices que podem ser inseridos de forma primária estão nos cards sorting.
O que trazer de forma secundária?
Análise NPS
Fortaleça os Promotores. Converta passivos e detratores.
Análise de revisão
Transforme avaliações em melhorias de negócios e aumente suas classificações.
Análise CSAT
Encontre elos fracos em produtos e processos de negócios. Fortaleça-os.
Análise de suporte
Aumente a eficiência da equipe de suporte. Reduzir custos.
Análise de Pesquisa
Mina as vozes dos clientes nas respostas da pesquisa. Encontre conclusões mais profundas.
Análise de VoC
Torne-se centrado no cliente.Aja com base em análises precisas de feedback.
Prototipação na alta
Foram desenvolvidos os wireframes que auxiliam na visualização dos dados e ideias dispostas.
Para que a prototipação na alta fosse entregue com algum valor e proposito final, com aplicabilidade bem definida seria necessário acompanhamento de POs ou lideres de negocios, para que a execução e entrega ficasse adequada, ultrapassando as 120 horas de estágio.
Componentes
Poderia ser utilizado o material design do google
Resultados
A pesquisa de UX Research centralizou o uso e formatação dos dados de análise textual, com o uso de Inteligência Artificial poderam ser realizadas análises semânticas, sintáticas, pragmáticas e morfológicas. Onde após a criação da IA deve ser realizado o treinamento dela, com as terminologias das análises acima citadas para que após a implementação elas possam realizar o mapeamento de dados nos reviews e apresentar dados úteis de negócio aos clientes.
Com o desenvolvimento do benchmark foram observados insights de negócio e de interfaces que podem ser inspiradas para o uso durante a criação e prototipação na alta, bem como verificar quais os dados de negócio apresentados pelos concorrentes serão uteis para a Harmo durante o desenvolvimento da ferramenta de trabalho do cliente.
Os wireframes foram desenvolvidos com uma noção lógica, e a partir dos cards sortings, e distinta sobre o que as empresas/lojas/serviços podem melhorar e de que forma esses dados podem ser apresentados.
Algumas informações podem e devem ser apresentar em cards ou listas, outras ficam melhores em modelagem gráfica, os componentes variam conforme a prioridade de visualização, e criam navegação primária, secundária e até terciária (indicado usar breadcrumb), sendo assim, é necessário avaliar o que será implementado e pensado no futuro.
Referências bibliográficas utilizadas nesse projeto:
NIELSEN, Jakob.2000.Why you only need to test with 5 users- https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
BRÄSCHER, Marisa; CAFÉ, Lígia. .ORGANIZAÇÃO DO CONHECIMENTO: TEORIAS SEMÂNTICAS COMO BASE PARA ESTUDO E REPRESENTAÇÃO DE CONCEITOS.2011. https://www.uel.br/revistas/uel/index.php/informacao/article/download/10388/9282.
Rucsandra Acsinte. Processamento de linguagem natural PLN.2014. https://sites.google.com/site/inteligenciaartificialist/processamento-de-linguagem-natural-pln/analise-sintatica
MonkeyLearn. Semantic Analysis.https://monkeylearn.com/blog/semantic-analysis/
MonkeyLearn
Medallia Enterprise
Qualtics Vocalize
Todos os projetos publicados do GitHub e do Medium estão identificados com seus repectivos autores.
