/+junk/Dataanalys

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/%2Bjunk/Dataanalys
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
\documentclass{article}

\usepackage{hyperref}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage[swedish]{babel}
\usepackage{rotating}
\usepackage{epstopdf}
\usepackage{graphicx}
\usepackage{fancyvrb}

\usepackage[sorting=none]{biblatex}
\bibliography{bibogrophy}

\title{Projektarbete: Dataanalys}
\author{Gustav Hartvigsson \\
Grebbestads Folkhögskola (VT 2011) \\
gustav.hartvigsson@gamil.com}

\begin{document}
  
  \maketitle
  
  \pagebreak
  
  \tableofcontents
  
  \pagebreak
  
  \part{Intro}
  \section{Projektets syfte}
  Syftet som jag hadde I projektplanen var följande:
  \begin{quote}
    Att träna på dataanalys/lära sig hur man gör dataanalys.
  \end{quote}
  
  En längre beskrinving kunde vara: \emph{Att träna på dataanalys/lära sig hur
  datanalys går till och se på olika metoder för att göra detta på.}
  %FIXME
  
  \section{Frågeställning}
  Frågeställningen som jag hadde i projektplanen är följaned:
  \begin{quote}
    Se hur relationen mellan olika frågeställningar ser ut.
  \end{quote}
  
  En längre och mer utförlig frågeställning skulla kunna vara: \emph {Se hur
  relationen mellan olika svar är. Se tillexempel hur många veganer som är
  för dödsstraff.}
  %FIXME
  
  \section{Metod}
  Metoden beskrev jag i projektpalen är som följande:
  \begin{quote}
    Skriva en enkät med olika frågor som besvaras med kryssrutor.
    
    Sedan stoppa in svaren i ett kalkylblad alt. en databas. där man kan göra
    förfrågningar (querys) och skapa sig en bild av de olika grupperna på
    skolan.
  \end{quote}
  
  Jag är ganska nöjd med med hur den är formuleringen. så jag anser inte att jag
  behöver ändra den.
  
  \section{Presentation}
  Jag hadde en presentation 2011 02 07, denna presentation skrevs i \LaTeX
  \cite{latex.org:main} \cite{LaTeXWiki} och Beamer.
  
  I Projektplanen skev jag följande:
  \begin{quote}
    Göra en presentation som redogör för relationerna mellan olika svar.
    Även eventuellt göra ett program som kan göra querys på ett enkelt sätt.
    
    Jag har tänkt att skriva presentationen i \LaTeX \ och visa upp programmet
    som jag skrev.
  \end{quote}
  
  I den här rapporten tänkte jag framföra lite statestik som visar olika
  fågeställningar och deras relationer till varandra.
  
  %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
  \pagebreak
  \part{main}
  \section{varför jag valde de tekniker som jag gjorde}
  
  \subsection{Programmet}
  När jag tänkte på hur jag skulle lösa problemet kom jag att tänka på att det
  vore lätt att ha all data i en sqldatabas och sedan använda sql förfrågningar
  för att ta ut relationerna och räkna instanserna där det är sant.
  
  Sedan behövde jag ett lätt använt språk att skriva en ``front-end'' i vilken
  jag skulle kunna använda den för att lägga in data och ta ut data med.
  Med dessa kriterier så blev valet Python 3.X \cite{Python.org:main}
  (även känt som python py3k eller Python3k) detta blev dock ett problem, mer om
  detta i sectionen ``Problem'' längre ner.
  
  När det gäller valet av databas så var det inte så svårt, jag har arbetat med
  SQLite förut och kräver inte en bakändsserver vilket som jag skulle behöva
  använda om jag hadde valt tillexempel MySql \cite{MySqlWiki} eller PostgreSql
  \cite{PostgreSqlWiki}.
  
  \subsection{Enkäten}
  Enkäten skrev jag i klartext, dvs oformaterad och med bara stanard tecken för
  att det skulla vara lätt att använda i Bazaar (se längre ner). och att det
  skulle vara lätt att redegera.
  
  enkätens struktur är som följande:
  \begin{verbatim}
Först kom en kort beskrivning av projectet

sedan en liten information om hur datan skulle användas

sedan frågorna:

Fråga 1:
    Tror du på en/flera personlig(a) gud/gudar?
    Ja [ ] Nej [ ]

ect ect.....
  \end{verbatim}
  
  \subsection{Bazaar}
  Jag använde Bazaar (även känt som bzr) som ett revitions kontroll system (RCV)
  för att hålla koll på koden och som ett slags av dagbok över ändringar jag har
  gjort.
  
  Här kommer en beskrivning om vad Bazaar är för något från Bazaars hemsida:
  \begin{quote}
    Bazaar is a version control system that helps you track project history over
    time and to collaborate easily with others. Whether you're a single
    developer, a co-located team or a community of developers scattered across
    the world, Bazaar scales and adapts to meet your needs. Part of the GNU
    Project, Bazaar is free software sponsored by Canonical.
    \cite{bazaar:com:main}
  \end{quote}
  
  All kod och databasen som har med det här projektet finns att hämnta på min LaunchPad:
  \url{https://code.launchpad.net/~gustav-hartvigsson/+junk/Dataanalys},
  intrunktioner finns på sidan om hur man hämntar koden och databasen.
  
  \section{Problem}
  
  När jag började på projektet hadde jag en idé om att det skulle vara lätt att
  produsera en enkät och sammanställa det i en databas, men verkligheten var
  inte så lätt. I den här sektionen kommer jag att berätta om de problem jag har
  haft under projektets gång.
  
  \subsection{Programmet}
  Jag hadde lite problem när jag gjorde progremmet som jag gjorde det, här
  kommer lite exempel på det som jag träffade på.
  
  \subsubsection{Bibliotek}
  När jag valde Python visste jag att det fanns mängder av bibliotek som kunde
  användas för att att rita grafer i, men jag tänkte inte på att de inte fanns
  i Python 3k. Detta resulterade i att jag inte kunde göra grafer i programmet
  som jag skrev. Jag gjorde en ``utflyckt'' i konsten att porta från ett py2.x
  till py3k (se \cite{LP:GH:PGCP3k}), men jag lade ner det eftersom att jag
  inte förstod hur biblioteket fungerade. Det ända jag gjorde var en enkel
  portning så, trots att den var användbar. Så hadde den inte alla funktioner
  som i orginalet.
  
  \subsubsection{Debugging}
  Jag utförde aldrig någon ordentlig debugging innan jag försökte lägga in
  svaren i databasen, detta resulterade i att programmet kraschade vid andra
  körningen av ``add to db''. Felet var att jag inte rensade strängen som jag
  sedan använde, för att lägga till data i databasen innan jag började på med
  att lägga till mer data till strängen.
  
  Detta blev fixat i revition med namnet ``\texttt{
  gustav.hartvigsson@gmail.com- 20110131122114-e6e1z0pl2eadau65 }''
  (se \texttt{bzr glog} eller \texttt{bzr log})\footnote{koden finns tillgänlig
  på min LaunchPad:
  \url{https://code.launchpad.net/~gustav-hartvigsson/+junk/Dataanalys}}. 
  
  \subsection{Enkät}
  När det kommer till enkäter så var det lite problem. Bland annat så var inte
  svarsrutorna för fråga 9 på samma sida som frågan.
  
  Ett annat problem var att jag stavade fel på frågan 4 och 20, där jag skrev
  \emph{sekelärt} istället för \emph{sekulärt} och \emph{morerna} istället för
  \emph{moderna}.
  
  Andra problem som var med själva frågeställningen var att vissa inte ville
  svara på med ett klart ja eller nej. Detta var ett problem som jag skulle ha
  förutsätt när jag gjorde frågorna, men det gjorde jag inte då.
  
  Ett tredje problem som jag hadde var att vissa inte svarade på vissa frågor.
  Mer om detta längre ner.
  
  \part{data och analys}
  Här kommer jag att skriva om hur data analysen gick till och hur jag löste
  vissa problem som uppstod, och visa någon fin graf som visar hur
  de olika relationerna ser ut.
  
  \section{Rådata}
  Jag fick in 44 svar på enkäten, vilka nu mera finns i en databas, som jag har
  lagt ut på min launchpad tillsammans med koden.
  
  Så här ser ett stycke av databasen ut i csv format.
  \begin{verbatim}
id,gudar,spoken,religos,sekulart,vegan,mars,globaluppvarmning [...]
1,0,0,0,1,0,1,1,1,0,0,0,1,0,1,1,1,1,0,1,1,0,0,1," "
2,0,0,0,1,0,0,1,1,1,1,1,1,1,0,1,1,1,0,1,1,0,1,1," "
3,0,0,0,0,0,0,1,1,0,1,1,1,1,1,1,1,1,0,1,1,0,1,1," "
4,0,0,0,1,0,1,1,1,1,1,1,0,1,0,1,1,1,0,1,1,0,1,0," "
5,0,0,0,1,0,1,1,1,0,0,0,1,1,0,1,1,1,0,0,0,1,1,0," "
6,1,1,0,1,0,1,1,1,0,1,1,1,1,0,1,1,1,0,1,1,0,1,0," Du skull [...]
  \end{verbatim}
  Se \texttt{csv/awnsers2.cvs} för datan i csv format eller
  \texttt{awnsers.sqlite} för datan i SQLite3 format \footnote{Se föregående
  fotnot}.
  
  Datans struktur är inte så märkvärdig: 1 är sannt och 0 är falskt.
  
  \pagebreak
  \section{Tabeller och grafer.}
  
  I den här sektienen kommer jag att gå genom lite statistik även vilka
  kopplingar som finns mellan olika frågeställningar som var med i enkäten.
  
  \begin{center}
    \begin{table}[h!]
      \centering
      \begin{tabular}{ c | c | c | c | c | c | c | c | c | c | }
        &
        \begin{sideways} Tror på gu(ar) \end{sideways} &
        \begin{sideways} Tror på spöken \end{sideways} &
        \begin{sideways} Är religös \end{sideways} &
        \begin{sideways} Är för ett sekulärt sammhälle \ \end{sideways} &
        \begin{sideways} Vegan eller vegitarian \end{sideways} &
        \begin{sideways} Är för abort \end{sideways} &
        \begin{sideways} Är för kvinnors rättigheter \end{sideways} &
        \begin{sideways} Är för dödsstraff \end{sideways}
        \\ \hline
        Tror på gud(ar) &  & 11 & 7 & 16 & 4 & 17 & 17 & 1
        \\ \hline
        Tror på spöken & 11 &  & 5 & 13 & 6 & 17 & 18 & 2
        \\ \hline
        Är religös & 7 & 5 &  & 6 & 3 & 8 & 8 & 0
        \\ \hline
        Är för ett sekulärt sammhälle & 16 & 13 & 6 &  & 6 & 35 & 35 & 2
        \\ \hline
        Vegan eller vegitarian & 4 & 6 & 3 & 6 &  & 8 & 9 & 0
        \\ \hline
        Är för abort & 17 & 17 & 8 & 35 & 8 &  & 42 & 4
        \\ \hline
        Är för kvinnorsrättigheter & 17 & 18 & 8 & 35 & 9 & 42 &  & 4
        \\ \hline
        Är för dödsstraff & 1 & 2 & 0 & 2 & 0 & 4 & 4 & 
        \\ \hline \hline
        av totalt & 18 & 19 & 9 & 35 & 9 & 42 & 43 & 4
        \\ \hline
      \end{tabular}
      \caption{Ett litet urval av datan}
      \label{table:LitetUrval}
    \end{table}
  \end{center}
  
  Datan I tabellen är framställd via att använda \texttt{count} funktionen i
  programmet under \texttt{showDB}. Ett exempel på hur man kan göra:
  \texttt{(cmd) count vegan and dodsstraff} detta skriver ut siffran \texttt{0}
  på kommandoprompten.
  
  Här kommer en tabell med procentsattser som är producerade genom
  \begin{math} \frac{cell}{tot_x} \end{math} och
  \begin{math} \frac{cell}{tot_y} \end{math}.
  See tabbell \ref{table:ProcentLitetUrval} på sidan
  \pageref{table:ProcentLitetUrval}.
  
  \begin{table}
    \centering
    \small
    \begin{tabular}{ c | c | c | c | c | c | c | c | c | c |}
      &
      \begin{sideways} Tror på gu(ar) \end{sideways} &
      \begin{sideways} Tror på spöken \end{sideways} &
      \begin{sideways} Är religös \end{sideways} &
      \begin{sideways} Är för ett sekulärt sammhälle \ \end{sideways} &
      \begin{sideways} Vegan eller vegitarian \end{sideways} &
      \begin{sideways} Är för abort \end{sideways} &
      \begin{sideways} Är för kvinnors rättigheter \end{sideways} &
      \begin{sideways} Är för dödsstraff \end{sideways}
      \\ \hline
       Tror på gud(ar) & x & 61\% & 38\% & 89\% & 22\% & 94\% & 94\% & 5,5\%
      \\ \hline
      Tror på spöken & 61\% & x & 28\% & 68\% & 33\% & 89\% & 95\% & 11\%
      \\ \hline
      Är religös & 38\% & 28\% & x & 66\% & 33\% & 89\% & 89\% & 0\%
      \\ \hline
      Är för ett sekulärt sammhälle & 89\% & 68\% & 66\% & x & 17\% & 100\% &
      100\% & 5\%
      \\ \hline
      Vegan eller vegitarian & 22\% & 33\% & 33\% & 17\% & x & 89\% & 100\% &
      0\%
      \\ \hline
      Är för abort & 94\% & 89\% & 89\% & 100\% & 89\% & x & 100\% & 10\%
      \\ \hline
      Är för kvinnorsrättigheter & 94\% & 95\% & 89\%  & 100\% & 0\% & 100\% &
      x & 9\%
      \\ \hline
      Är för dödsstraff & 5,5\% & 11\% & 0\% & 5\% & 0\% & 10\% & 9\% & x
      \\ \hline \hline
      av totalt 
      & \begin{sideways} 100\%/18  \end{sideways}
      & \begin{sideways} 100\%/19  \end{sideways}
      & \begin{sideways} 100\%/9   \end{sideways}
      & \begin{sideways} 100\%/35  \end{sideways}
      & \begin{sideways} 100\%/9   \end{sideways}
      & \begin{sideways} 100\%/42  \end{sideways}
      & \begin{sideways} 100\%/43  \end{sideways}
      & \begin{sideways} 100\%/4   \end{sideways}
      \\ \hline
    \end{tabular}
    \caption[Procent: Ett urval av datan]{samma data som i tabell
    \ref{table:LitetUrval} fast i procent.}
    \label{table:ProcentLitetUrval}
  \end{table}
  
  Utifrån datan så har jag sammanställt datan i ett diagram, som visar olika
  kolumner som har summerats, se figur \ref{graph:summaavkollomener} på sidan
  \pageref{graph:summaavkollomener}. alla ettiketer är inte med i diagrammet,
  så här kommer ettiketerna i samma ordning:
  
  %%%%%%%%%%%%%%%%%%%%%%  VERBATIM  %%%%%%%%%%%%%%%%%%%%%%% 
  \begin{Verbatim}[samepage=true]
  gudar, spoken, religos, sekulart, vegan, mars, globaluppvarmning,
  manen, motion, sund, deprimerad_host, sno, oppet,dodsstraff,
  kvinnors_rattigheter, abort, kvinnors_kropp, deprimerad_var,
  vetenskap, evolutionen, gast_sverige, fodd_sverige,
  foraldrar_sverige
  \end{Verbatim}
  %%%%%%%%%%%%%%%%%%%%%%%  END VERBATIM  %%%%%%%%%%%%%%%%%%%%%%% 
  
  \begin{figure}
    \centering
    \caption[Summa av frågeställningar.]{En figur som visar summan av de olika
    frågeställningarn.}
    \includegraphics{Graph_summa_av_kollomner.eps}
    \label{graph:summaavkollomener}
  \end{figure}
  
  \section{Analys av datan och jämförelse med annan statistik}
  I den här sektionen så kommer jag att framföra lite analys och jämförelse med
  andra källor som finns tillgängliga.
  
  Vi kan börja att kolla på den statestik som vi har tillgänlig redan nu. Om vi
  tittar i tabell \ref{graph:summaavkollomener} på sidan
  \pageref{graph:summaavkollomener} så kan vi se att den bara visar många som
  tror på vissa saker som även tror på något annat, och om vi tittar på
  figur \ref{graph:summaavkollomener} på sidan \pageref{graph:summaavkollomener}
  detta är inte lätt att arbeta med. Men om vi tar samma urval och istället
  kollar på det i jämförelse med alla 44 svar som jag har fått in så får vi en
  bättre bild av vad gruppen som helhet tror och tycker, och göra en jämförelse
  med annan statistik, nämligen \emph{Social values, Science and Technology}
  \cite{SocialValuesEU} från 2005.
  
  \begin{table}[h!]
    \centering
    \begin{tabular}{l | c | c}
      \% &
      Skolan & Special Eurobarometer 2005 \\ \hline
      tror på gudar: & 18/44 \begin{math} \approx 40\% \end{math} & 23\%
      \\ \hline
      tror på spöken:  & 19/44 \begin{math} \approx 43\% \end{math} & N/A
      \\ \hline
      är för abort: & 42/44 \begin{math} \approx 95\% \end{math} &
      54\% \hyperlink{hyp1}{\footnotemark[1]} \\ \hline
    \end{tabular}
    \caption{En tabell som visar en jämförelse mellan skolan och sverige som
    helhet}
    \label{table:jämförelse}
  \end{table}
  \hypertarget{hyp1}{\footnotetext[1]{Frågan är dock felställd: \emph{"Protecting the dignity
  of any human unborn life"} vilket är svårtolkat och kan inte direkt
  översättas till den frågan jag ställde.}}
  
  Som vi kan se så är till exempel de som tror på gudar är något fler än vad som
  är riksgenomsnittet i Sverige (enligt \emph{Social values, Science and
  Technology}).
  
  \pagebreak
  \section{Slutdiskussion}
  Här så tänker jag visa de erfarenheter som jag har fått av att fullförja
  detta projekt, reflektera över hur jag skulle kunna göra saker bättre
  och ge min syn på hur man kan göra fortsatt forskning.
  
  \subsection{Erfarenheter}
  De erfarenheter jag har fått är som följer:
  \begin{itemize}
    \item Hur man gör enkäter, och hur man inte skall göra dem.
    \item Hur man sammanställer data på ett bra sätt.
    \item Att skriva rapporter i och bråttas med \LaTeX \ egenheter.
    \item Att arbeta med mig själv och fullförja ett projekt.
  \end{itemize}
  
  \subsection{Göra saker bätter}
  Om jag hadde gjort projektet igen så skulle jag ha läst mer om hur man gör
  data analys och, hur man skall göra enkäter som är lätta att förstå och
  att man skall korrektur läsa hela enkäten innan man delar ut dem.
  
  \subsection{Fortsatt forskning}
  Om någon skall göra fortsatt forskning i detta ämne så är det viktigt att
  veta att det här är bara en liten demografisk grupp, och att det inte finns
  mycket data att gå på, i alla fall inte på SCB.
  
  Om någon skulle göra ett liknande projekt som jag har gjort, så skulle man
  behöva ha en handledare som är kunnig i ämnet och som kan programera.
  Detta är dock inte något krav om man kan lite om ämnet i förhand och kan
  programera det simplaste pogrammen.
  
  %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
  \pagebreak
  \part{Förteckningar}
  
  \listoffigures
  
  \listoftables
  
  \printbibliography
\end{document}