Este documento analisa a taxa de retenção de novatos no projeto de código aberto Hadoop Common. Os resultados mostram que a ausência de resposta, a polidez da resposta e a utilidade da resposta influenciam a permanência dos novatos, com a experiência do autor da resposta também sendo importante. As interações iniciais com o projeto afetam a decisão de continuar contribuindo. Oportunidades futuras incluem estender a análise para outros projetos e classificar respostas de forma mais rigorosa.

1. ANÁLISE DA DESISTÊNCIA DE
NOVATOS EM PROJETOS DE
SOFTWARE LIVRE:
CASO DO PROJETO HADOOP COMMON
Igor Steinmacher
Igor Scaliante Wiese
Ana Paula Chaves
Marco Aurélio Gerosa

2. CONTEXTO
“Um novato em projeto de software é
como um explorador que precisa se
orientar em um ambiente hostil...”
[Degenais et al. 2010]
... e precisam de ajuda para dar
seus passos iniciais
B. Dagenais, H. Ossher, R.K.E Bellamy, M.P. Robillard and J.P.
de Vries, Moving into a new software project landscape, in
ICSE 2010.
2

3. PROBLEMA
Taxa de retenção de novatos em
projetos de software livre é baixa
3

4. PROBLEMA
• Bongwon Suh, Gregorio Convertino, Ed H. Chi, and Peter Pirolli. 2009. The singularity is not near:
slowing growth of Wikipedia. In WikiSym '09. ACM, New York, NY, USA, , Article 8 , 10 pages.
• Parul Vora, Naoko Komura. 2010. The n00b Wikipedia Editing Experience. In WikiSym '10.
• Aaron Halfaker, Aniket Kittur, and John Riedl. 2011. Don't bite the newbies: how reverts affect the
quantity and quality of Wikipedia work. In WikiSym '11.
• Loxley Sijia Wang, Jilin Chen, Yuqing Ren, and John Riedl. Study/Results
Fonte: Wikimedia Editor Trends 2012. Searching for the goldilocks zone:
<http://strategy.wikimedia.org/?oldid=80283>
4
trade-offs in managing online volunteer groups. In CSCW '12.

5. OBJETIVO
Questão de Pesquisa:
Ausência de resposta, polidez, utilidade ou o tipo de autor das
respostas influencia na permanência de novatos em um projeto
de software livre?
Objetivos Específicos:
• Durante as primeiras interações dos novatos com o projeto
• OE1: Verificar se os novatos recebem respostas;
• OE2: Observar quem são os autores das respostas às dúvidas
dos novatos; e
• OE3: Classificar as respostas recebidas pelos novatos.
5

6. DADOS COLETADOS
Projeto Hadoop Common
60 meses
• Lista de e-mails
• 9285 discussões
• 50128 mensagens
• Discussões nas tarefas (Jira)
• 7721 tarefas
• 76065 comentários
6

7. Lista
Tarefas e-mails
MÉTODO
Jira
Mineradores
Identificação dos Verificação dos
Identificação dos
membros existentes novatos que
“novatos”
no projeto ficaram
(6 meses)
(36 meses) (6 meses)
1 2 3
Verificação dos Verificação dos
novatos novatos que
“desistentes” “continuaram”
(6 meses) (+ 12 meses)
3 4
Envio de
questionário
7

8. RESULTADOS (RETENÇÃO)
Novatos na Lista de e-mails
# usuários % dos existentes % dos novatos
Existentes (intervalo 1) 677
Novatos (intervalo 2) 67 9,90%
Ficaram (intervalo 3) 20 2,95% 29,85%
Continuaram (intervalo 4) 12 1,77% 17,91%
Novatos no Gerenciador de tarefas (Jira)
# usuários % dos existentes % dos novatos
Existentes (intervalo 1) 483
Novatos (intervalo 2) 127 26,29%
Ficaram (intervalo 3) 30 6,21% 23,62%
Continuaram (intervalo 4) 17 3,52% 13,39%
8

9. OE1:
OS NOVATOS SÃO RESPONDIDOS?
Novatos na Lista de e-mails
# pessoas Desistiram Aparecem nos
intervalos 3 e 4
Sem resposta 13 11 (84,6%) 2 (15,4%)
Com resposta 34 30 (88,2%) 4 (11,8%)
Novatos no Gerenciador de tarefas (Jira)
# pessoas Desistiram Aparecem nos
intervalos 3 e 4
Sem comentários 7 6 (85,7%) 1 (14,3%)
Com comentários 71 55 (77,5%) 16 (22,5%)
9

10. OE2:
QUEM RESPONDE AOS NOVATOS?
Lista de e-mails
20 discussões
de novatos que
desistiram
tiveram alguma
resposta de
outros novatos
Nenhuma mensagem
de novato respondida
apenas por novatos.
Apenas 2 discussões
têm participação de
outros novatos
• Indícios de que experiência dos autores de respostas influencia a permanência
• Verificou-se que alguns novatos responderam questões de maneira equivocada ou
10
que não continham informações úteis

11. OE2:
QUEM RESPONDE AOS NOVATOS?
Jira
39 relatos (45%)
não contaram
com membros
centrais.
Participação
heterogênea.
11 relatos (28%)
não contaram com
membros centrais.
Participação
heterogênea
• Discussões mais extensas (# mensagens trocadas)
• Maior contribuição dos membros centrais, e mais respostas de novatos
11
• Discussões mais contextualizadas, focadas, e extensas (# mensagens)

12. OE3: QUE TIPO DE RESPOSTA
OS NOVATOS RECEBEM?
Lista de E-mails
Tipo da Resposta Desistiram Continuaram
Ajuda / No Tópico 20 7
Não Útil / Outra questão 5 0
Não Útil / Fora do tópico 3 0
Indiferente 1 0
Outro 4 0
Gerenciador de Tarefas
• respostas no tópico, contextualizadas e com informações úteis
• não houve alterações ou padrões a tratar no contexto dessa questão
12

13. QUESTIONÁRIO (DESISTENTES)
1. Você se lembra de ter enviado email à lista hadoop-common-dev?
2. À época, você estava interessado em continuar contribuindo com o projeto Hadoop?
2a. Caso tenha respondido SIM à questão 2, por que desistiu?
2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar
mensagens à lista de desenvolvedores?
3. Você contribuiu com algum projeto de software livre depois de Junho de 2009?
4. Você já havia contribuído com algum projeto de software livre antes de Junho de 2009?
Questão 1 Questão 2 Questão 3 Questão 4
Sim 13 11
11 1 7
Não 0 2 12 6
13

14. QUESTIONÁRIO (DESISTENTES)
2a. Caso tenha respondido SIM à questão 2, por que desistiu?
2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar
mensagens à lista de desenvolvedores?
Resposta à questão 2
Tipo da Resposta
Sim (2a) Não (2b)
i. Era usuário e só quis esclarecer dúvidas 0 2
ii. Pergunta não respondida ou resposta não agradou 2 0
iii. Falta de ajuda em escolher tarefa 3 0
iv. Diz não ter sido aceito pelo projeto 1 0
v. Mudou de foco ou empresa 4 0
vi. Voltou depois ao projeto 1 0
“... meu problema era como começar a contribuir... se eu tivesse alguém
para segurar minha mão, isso poderia ter ajudado...”
14
“eles não responderam à minha pergunta”.

15. CONCLUSÕES
Ausência de resposta, polidez, utilidade ou o tipo de autor das
respostas influencia na permanência de novatos em um projeto
de software livre?
 ausência de resposta
polidez da resposta  má recepção (questionário)
utilidade da resposta  direcionamento / mensagens negativas
tipo do autor  experiência de quem responde
 Adicionalmente  fatores externos
 As interações iniciais exercem influência na decisão de permanecer
colaborando no projeto
 “Habilidades sociais” são requeridas
15

16. OPORTUNIDADES FUTURAS
Estender a análise para outros projetos
Estabelecer uma classificação mais rigorosa
• Entrevistas com outros desistentes e conduzir estudos de caso
específicos
Estudar proposta de uma abordagem para análise automatizada
do conteúdo do padrão das discussões (análise de discurso)
16

17. PERGUNTAS?
Igor Steinmacher Ana Paula Chaves
igorfs@utfpr.edu.br anachaves@utfpr.edu.br
Igor Scaliante Wiese Marco Aurélio Gerosa
igor@utfpr.edu.br gerosa@ime.usp.br