Programa Catalisador do Brasil/Avaliação dos candidatos à vaga de analista de dados

Histórico

Foi proposta uma tarefa a três candidatos à vaga de analista de dados. Os três foram consultados quanto à disponibilidade para executar a tarefa neste período do ano antes que déssemos a largada. Um deles, no entanto, se viu impossibilitado, devido a questões pessoais, de desenvolvê-la com a qualidade que desejava e, portanto, comunicou por email a desistência da concorrência. Conforme explicado na proposição da tarefa, os candidatos poderiam escolher um de dois problemas para desenvolver o que seria um roteiro de análise (a proposta é de que desenvolvessem o raciocínio e propusessem hipóteses e metodologias para testá-las nesta wiki). Os candidatos Usuário:Crang115 e Usuário:Jonas AGX desenvolveram, cada um, uma das tarefas.

O desenvolvimento da tarefa

Suas análises podem ser vistas nas páginas abaixo:

• Usuário:Crang115/tarefa
• Usuário:Jonas_AGX/tarefa

Objetivos e critérios

O objetivo geral era avaliar o quão confortável os candidatos estavam em interagir com a nossa comunidade em pontos críticos que simulam o seu futuro trabalho. Nosso objetivo é ver se os candidatos estão/são:

• Confortáveis em expor seus pensamentos e perspectivas para a comunidade de uma maneira transparente sem medo de serem criticados e/ou medo de serem confrontados, com boa fé, ao ponto de vista de um membro da comunidade.
• Capazes de interagir com os membros da comunidade com um diálogo aberto que seja mutuamente respeitoso, e para obter referências de história, dados já obtidos etc. junto à comunidade.

Como explicávamos na página de formulação da tarefa, o importante era que o candidato mostrasse suas habilidades para:

• Buscar informação
• Perguntar para a comunidade / interagir com ela para obter referências de história, dados já obtidos etc.
• Formular experimentos criativos e formas de cruzar as informações disponíveis para obter informações
• Criar novas hipóteses específicas que possam ser checadas por meio de levantamento de dados
• Desenvolver de ferramentas para geração de dados
• Analisar o quadro geral (embora não esperemos que ele apresente uma análise precisa na fase de testes)

Obs: Nós NÃO esperávamos que eles criassem soluções neste momento.

Pontos de avaliação

Desde a proposição da tarefa, estava claro que nossos pontos de avaliação eram:

• como eles se engajaram e se eles adicionaram valor ao processo de discussão da comunidade (por fazer questões ponderadas, desafiando suposições, sintetizando discussões, mudar de opinião baseada na qualidade dos argumentos etc.).
• as linhas de raciocínio e a capacidade de lidar com problemas de diferentes naturezas, propondo formas de obter e analisar os dados.

Avaliação

Gostaria de propor referências e formato para análise. Para cada quesito, comentamos o que percebemos das habilidades dos dois candidatos. A meu ver, não é necessário assinar. Podemos colocar os comentários em itens, porque importa menos a opinião de pessoa por pessoa e mais as impressões de todos. Mas se quiserem e preferirem assinar, sem problemas também. Se quiserem sugerir outros pontos a serem avaliados também, tudo bem. Só seria importante que eles estejam relacionados aos pontos que, desde o início, os candidatos sabiam que estariam sendo avaliados (ou seja, não surgirmos agora com critérios muito distintos daqueles inicialmente propostos).

O prazo para o desenvolvimento da avaliação é à meia noite do dia 26 de dezembro. Portanto, gostaria de pedir que só começassem a avaliar no dia 27, pois eles podem ainda estar fazendo ajustes, alterações, atualizações etc.

Conforme havia sido informado na página de proposição da tarefa, o período para nossa avaliação é de 27 a 31 de dezembro.

Buscar informação

Usuário:Crang115

• Crang115 conseguiu buscar informações já disponíveis não só na página da tarefa como existentes em outras páginas da Wikipédia para desenvolver a tarefa.

Usuário:Jonas AGX

• Jonas AGX foi capaz de beber em dados e pesquisas já realizadas, não só aquelas já disponíveis e compartilhadas na página de proposta da tarefa, mas outras que eram de seu conhecimento, para desenvolver o estudo que compunha a tarefa.

Perguntar para a comunidade / interagir com ela para obter referências de história, dados já obtidos etc.

Usuário:Crang115

• Crang115 soube buscar informações objetivamente junto a voluntários que estavam lidando com as questões relativas à tarefa que escolheu desenvolver, esclarecendo e aprofundando dados e questões.

Usuário:Jonas AGX

• Jonas AGX conseguiu articular informações junto à comunidade interagindo por meio dos canais públicos, como a esplanada, e também por meio de contato direto com voluntários que já estudavam a questão a que decidiu se dedicar

Formular experimentos criativos e formas de cruzar as informações disponíveis para obter informações

Usuário:Crang115

• Crang115 deixou bem claro no desenvolvimento da tarefa como faria para coletar os dados que não estavam ainda disponíveis e quais informações necessitaria para fazer uma avaliação precisa. Demonstrou segurança e conhecimento sobre como lidar com o assunto e capacidade de desenvolver análises e estudos úteis à avaliação dos experimentos.

Usuário:Jonas AGX

• Jonas AGX propôs uma interessante linha do tempo para avaliar os eventos importantes que teriam impactado o comportamento de editores na Wikipédia ao longo de sua existência, demonstrando preocupação com uma compreensão geral e macro da Wikipédia como resultado de um processo.

Observação

Curioso que, enquanto Crang115 foi bastante específico e objetivo, Jonas AGX utilizou uma abordagem de análise macro. Acho que ambas as abordagens são interessantes e úteis. No dia a dia, para promover experimentos específicos, a análise micro é igualmente importante, para obtermos análises precisas para experimentos pontuais. No entanto, uma visão mais geral da história da Wikipédia como uma comunidade em movimento pode nos ajudar a entender muito sobre ela. --Oona (WMF) (discussão) 20h58min de 31 de dezembro de 2012 (UTC)

Criar novas hipóteses específicas que possam ser checadas por meio de levantamento de dados

Usuário:Crang115

• Criou claramente hipóteses para serem analisadas de possíveis efeitos positivos e negativos do experimento, fugindo de uma visão maniqueísta e explorando as diversas possibilidades.

Usuário:Jonas AGX

• Criou uma hipótese central de relação entre segurança e liberdade que poderia impactar bastante na capacidade de atração de editores.

Desenvolvimento de ferramentas para geração de dados

Usuário:Crang115

• Apontou que podem ser criadas ferramentas para geração e análise de dados, não apenas ferramentas automatizadas, mas também apontou a necessidade de instrumentos de pesquisa qualitativa para responder algumas questões que dados brutos, por vezes, não são suficientes para responder.

Usuário:Jonas AGX

• Jonas AGX apontou as ferramentas já disponíveis que utilizaria, mas também a questão do método - metodologias que permitissem estudos permanentes e autônomos pela comunidade, garantindo a continuidade dos estudos.

Analisar o quadro geral (embora não esperemos que ele apresente uma análise precisa na fase de testes)

Usuário:Crang115

• Crang115 passou bastante segurança em relação à sua capacidade de aprofundar o estudo que vinha sendo feito por voluntários para responder bem à necessidade de uma análise sobre os prós e contras do experimento. Fez isso de forma didática, clara e bem documentada. Mergulhou a fundo no problema e apontou bons caminhos para um estudo mais profundo.

Usuário:Jonas AGX

• Jonas AGX propôs uma interessante linha do tempo para análise macro das relações entre políticas e eventos da Wikipédia e a atração e retenção de editores. No início a proposta não pareceu tão clara, mas, ao longo do tempo (uma curta semana), demonstrou capacidade de expor com clareza sua proposta e amarrar as variáveis expostas.

Outras observações referentes ao desenvolvimento da tarefa pelos candidatos

Usuário:Crang115

• Achei interesasnte notar a velocidade com a qual interou-se dos problemas e o fato de ter documentado o desenvolvimento da tarefa basicamente em 2 tacadas longas. Interagiu diretamente com os voluntários que haviam se debruçado mais sobre a questão com desenvoltura. Conseguiu com objetividade olhar para o problema de forma ampla e formular hipóteses pertinentes ao problema. Demonstrou dominar as ferramentas e o raciocínio necessários à função.

Usuário:Jonas AGX

• Notei que Jonas AGX desenvolveu um pouco da tarefa em diversos dias, interagindo bastante com a comunidade e convidando todos a participar. Acho que foi capaz de elaborar uma questão interessante para a compreensão geral. Talvez fosse importante apontar para experimentos futuros que possam testar sua hipótese, mas o fato de não ter elegido isso como prioritário no desenvolvimento desta tarefa não me parece limitador para que faça isso no futuro, até porque, uma vez criada a metodologia de análises relacionando eventos e políticas da Wikipédia e atração de editores, isso pode se aplicar a novos experimentos também.