9. Duomenų įkėlimas ir išsaugojimas

Išsaugojimas

Būdai, kaip į paketą įrašyti duomenis įprastai nagrinėjami einant temas apie „R“ paketų kūrimą (pvz., vadovėlyje „R packages“ ). Šiame skyriuje to nenagrinėsime.

Nuskaitymas

Labai naudinga mokėti įsikelti „R“ paketuose esančius duomenis. Įprastai tokie duomenys skirti įvairių analizių ir metodų išbandymui. Šiuo tikslu naudojama funkcija data(), kurios skliaustuose nurodomas duomenų lentelės pavadinimas ir paketo pavadinimas, pvz.:

data(duomenys, package = "paketas")

arba

data("rock", package = "datasets")

Jei paketas yra užkrautas, argumento package galite ir nenaudoti. Visgi dėl aiškumo rekomenduoju nurodyti ir paketą.

Pradžioje duomenys gali būti įkrauti tik iš dalies rezervuojant pavadinimą, bet pačių duomenų į kompiuterio atmintį neįkeliant. Tokiu atveju galite matyti užrašą <Promise> (pav., 9.3). Duomenys galutinai įkeliami tik atlikus kokį nors veiksmą su jais. Tai vienas iš tingiojo užkrovimo (angl. lazy loading) pavyzdžių.

Pav. 9.3: Duomenų iš „R“ paketų užkrovimas. Šio tipo duomenys užkraunami naudojant komandą data(). Vos parašius šią komandą, „RStudio“ ima siūlyti galimus duomenų rinkinių pavadinimus, kuriuos galima pasirinkti pele. Funkcija data() įprastai įvykdo tik pirminį įkėlimą ir rezervuoja pavadinimą „R“ atmintyje, todėl matome užrašą „promise“. Galutinis įkėlimas į „R“ atmintį įvyksta, kai su duomenimis atliekame kokį nors veiksmą, pavyzdžiui, panaudoję funkciją dim() nustatome duomenų lentelės eilučių ir stulpelių skaičių.

Dėstydamas ankstesniais metais pastebėjau, kad naudodami šio poskyrio medžiagą studentai bando nuskaityti bet kokius duomenis. Visgi įsiminkite, kad:

Išsaugojimas

Jei norime išsaugoti vieną ar kelis objektus .RData formatu, naudojame funkciją save() ir nurodome jų pavadinimus bei bylos pavadinimą, kurios plėtinys turėtų būti .RData.

save(duomenys_1, duomenys_2, file = "duomenys.RData")

Jei norime išsaugoti visus darbinėje erdvėje esančius objektus, naudojame funkciją save.image() ir nurodome tik bylos pavadinimą, kurios plėtinys turėtų būti .RData.

save.image(file = "duomenys.RData")

Nuskaitymas

Šio formato duomenų nuskaitymui naudojama funkcija load(). Jai nurodomas tik nuskaitomos bylos pavadinimas. Duomenų objektams, esantiems .RData byloje, pavadinimų suteikti negalime.

load(file = "duomenys.RData")

RStudio įrankiai

„RStudio“ įrankiai, skirti .RData formato duomenų nuskaitymui vaizduojami pav. 9.4 ir demonstruojami video epizode 9.2.

Pav. 9.4: Programos „R“ „.Rdata“ formato duomenų nuskaitymas Bylų plėtinys gali būti .Rda, .RData, .Rdata ar analogiškas.

Panagrinėkime pav. 9.4. Kortelėje „Files“ \((A_1)\) atsidarome aplanką su duomenimis. Pele spustelime .RData formato bylos pavadinimą \((A_2)\). Atsidaro langas \((B)\), kuriame klausiama, ar tikrai norime įsikelti duomenis, ir kad jei byloje bus objektas tokiu pat pavadinimu, kaip „R“ atmintyje, pastarasis bus prarastas. Jei sutinkame, spaudžiame „Yes“. „R“ konsolėje parašomas duomenų nuskaitymo kodas (demonstruojama video epizode 9.2). Jei reikia, jį galime nusikopijuoti ir įklijuoti į duomenų analizei skirtą bylą.

Išsaugojimas

Išsaugojimui .Rds formatu galime naudoti readr („Tidyverse“ šeimos paketas) funkciją write_rds(). Išsaugomos bylos plėtinys turi būti .rds arba .Rds.

library(readr)
write_rds(duomenys, path = "byla.rds")

Šiam tikslui skirta ir bazinės sistemos funkcija saveRDS().

Nuskaitymas

.Rds formato nuskaitymui naudojama readr funkcija read_rds().

naujas_pavadinimas <- read_rds(path = "byla.rds")

Arba bazinės sistemos readRDS().

RStudio įrankiai

„RStudio“ turi įrankius, palengvinančius .rds formato duomenų nuskaitymą. Panagrinėkime pav. 9.5 pateiktą medžiagą. Kortelėje „Files“ \((A_1)\) atsidarome aplanką su duomenimis. Pele spustelime .rds formato bylos pavadinimą \((A_2)\). Atsidaro langas \((B)\), kuriame parašome kokiu pavadinimu „R“ vadinsis nuskaitytas objektas \((B_1)\), ir paspaudžiame „OK“ mygtuką \((B_2)\). „R“ konsolėje parašomas duomenų nuskaitymo kodas (demonstruojama video epizode 9.2). Jį nusikopijuojame ir įklijuojame į duomenų analizei skirtą bylą.

Pav. 9.5: Programos „R“ „.Rds“ formato duomenų nuskaitymas naudojant „RStudio“. Bylų plėtinys gali būti .Rds, .RDS, .rds ar analogiškas.

Išsaugojimas

Duomenų lentelių išsaugojimui naudojamos „Tidyverse“ funkcijos, prasidedančios write_:

• write_delim() – išsaugojimas skirtukais atskirtų reikšmių formatu. Skirtuką galima pasirinkit, nepasirinkus naudojamas tarpas;
• write_tsv() – išsaugojimas reikšmes atskiriant tabuliacijomis;
• write_csv() – išsaugojimas CSV 1 tipo formatu;
• write_excel_csv() – išsaugojimas CSV 1 tipo formatu, kuriame yra žyma , dėl kurios byla tampa labiau pritaikyta atidaryti programa „Excel“.

write_delim(x = duomenys, path = "byla1.txt")
write_tsv(x = duomenys, path = "byla2.txt")
write_csv(x = duomenys, path = "byla3.csv")
write_excel_csv(x = duomenys, path = "byla4.csv")

Alternatyva „Tidyverse“ funkcijoms – bazinės „R“ funkcijos write.table(), write.csv(), write.csv2() arba paketo data.table funkcija fwrite().

Nuskaitymas

SAR formatų bylų nuskaitymui naudojamos „Tidyverse“ funkcijos, prasidedančios read_.

• read_delim() – skirta nuskaityti SAR formatų bylas nurodant reikšmių (stulpelių) skirtuką;
• read_tsv() – tai read_delim() variantas, kai reikšmių skirtumas yra tabuliacija;
• read_csv() – skirta CSV 1 tipo byloms nuskaityti;
• read_csv2() – skirta CSV 2 tipo byloms nuskaityti;
• read_table() – skirta nuskaityti SAR formatų bylas, kai reikšmių skirtukais yra vienas arba keli tarpai. Dokumento eilučių struktūra yra griežta, vizualiai primena lentelę ir galima teigti, kad tai atskiras fiksuoto pločio stulpelių formato variantas (aprašomas skyriuje 9.6): kiekviena eilutė privalo būti vienodo ilgio, o kiekvienas stulpelis – toje pačioje pozicijoje.
• read_table2() – skirta nuskaityti SAR formatų bylas, kai reikšmių skirtukais yra vienas arba keli tarpai. Eilutės gali būti skirtingo ilgio, o tarp reikšmių esantis tarpų skaičius gali kisti.

duomenys <- read_delim(file = "byla.txt")

duomenys <- read_tsv(file = "byla.txt")

duomenys <- read_csv(file = "byla.txt")
duomenys <- read_csv2(file = "byla.txt")

duomenys <- read_table(file = "byla.txt")
duomenys <- read_table2(file = "byla.txt")

Svarbiausi tekstinius SAR formato duomenis nuskaitančių „Tidyverse“ funkcijų argumentai:

• file – (tekstas) bylos pavadinimas (su aplanko pavadinimu), internete esančių duomenų adresas arba tiesiog duomenys (tekstas);
• delim – (tekstas) duomenų reikšmių (stulpelių) skirtumas;
• locale – (objektas, sukurtas funkcija locale()) tai nuo kalbos ir vietovės priklausantys nustatymai; Pvz., jei sveikosios ir dešimtosios dalies skirtukas yra kablelis, o ne taškas, reikia nurodyti: locale = locale(decimal_mark = ",");
• skip – (sveikasis skaičius) viršutinių eilučių skaičius, kurį programa praleis prieš nuskaitydama duomenis/tekstą;
• n_max (sveikasis skaičius) – didžiausias eilučių skaičius, kurį programa nuskaitys;
• na – (tekstas) simboliai, kurie bus laikomi praleistomis reikšmėmis;
• col_names – (loginė reikšmė arba tekstas) jei TRUE, pirma nuskaityta eilutė laikoma stulpelių pavadinimais; jei FALSE – pavadinimai sukuriami automatiškai; arba nurodomi kiekvieno stulpelio pavadinimai;
• comment – (tekstas) komentaro simbolis, po kurio eilutėje esantis tekstas nebus nuskaitomas;
• progress – (loginė reikšmė) nurodoma, ar rodyti progreso juostą esant didelei bylai.

Kaip alternatyva „Tidyverse“ funkcijoms gali būti naudojamos bazinės „R“ funkcijos read.csv(), read.csv2(), read.table(), read.delim(), read.delim2() arba data.table paketo funkcija fread() (skyrius „9.5.2 Funkcija fread()“).

RStudio įrankiai

„RStudio“ įrankiai, duomenims nuskaityti naudojantys „Tidyverse“ funkcijas, demonstruojami video epizoduose 9.5 ir 9.6. Įrankiai, naudojantys bazinės sistemos funkcijas, demonstruojami pav. 9.9 ir video epizode 9.7.

Norintiems gilesnių žinių apie CSV bylų sudarymo taisykles gali pagelbėti ši nuoroda: https://en.wikipedia.org/wiki/Comma-separated_values#Basic_rules

Norėdami nuskaitydami tekstinio formato duomenis galite naudoti ir „RStudio“ įrankį „From Text (base)“ (pav. 9.8, 9.9, video epizodas 9.7). Daugelis nuskaitymo parametrų įprastai teisingai parenkami automatiškai. Tačiau kiekvieną kartą įsitikinkite, ar tikrai stulpeliai turi teisingus pavadinimus (juos vaizduoja pirmoji, pajuodinta, eilutė lange „Data Frame“) ir kiekvienas stulpelis nuskaitomas kaip atskiras stulpelis. Jei duomenyse yra lietuviškų ar kitokių ne angliškų simbolių, gali reikti pasirinkti UTF-8 koduotę.

Pav. 9.8: Duomenų nuskaitymas. \(A_1\), \(A_2\), \(A_3\) – tekstinių duomenų nuskaitymo meniu atidarymas. \(B\) – norimos tekstinių duomenų bylos pasirinkimas. Tam, kad pirma duomenų eilutė būtų nuskaityta kaip pavadinimai, ties užrašu „Heading“ turi būti pasirinkta „Yes“ (\(C_1\)). Įsikėlus duomenis, duomenų nuskaitymo programos kodas pasirodo lange „Console“ (pav. 9.10).

Pav. 9.9: Skirtukais atskirtų duomenų nuskaitymas iš tekstinių bylų naudojant „RStudio“ langą „Import Dataset“ „From Text (base)…“

Paveiksle 9.9 rodoma, kaip nuskaityti duomenis naudojant „RStudio“. Šios programos lange „Environment“ \((A_1)\) spaudžiame mygtuką „Import Dataset“ \((A_2)\), po to „From Text (base)“ \((A_3)\). Tai bazinis (ne tidyverse), labai automatizuotas statistinei analizei tinkamas tekstinių duomenų nuskaitymo būdas. Ko gero, labiausiai suprantamas pradedantiesiems. Atsidariusiame lange susirandame aplanką su duomenimis ir pasirenkame tekstinių duomenų bylą \((B)\). Atsidaro nuskaitymo meniu, kuriame matome pirmąsias duomenų bylos eilutes \((C_1)\), pagal jas programa automatiškai parenka nuskaitymo parametrus ir juos įrašo parametrų pasirinkimo langeliuose \((C_2)\). Dažniausiai koreguoti nereikia. Jei reikia – pakoreguojame. Apatiniame lange \((C_3)\) galime pasitikrinti, ar duomenys bus nuskaityti teisingai: stulpelių pavadinimai pajuodinti, o patys duomenys – atskiruose stulpeliuose, aiškiai atskirtuose tarpais. Belieka parašyti duomenų lentelės pavadinimą \((C_4)\), kuriame gali būti tik angliškos raidės, apatiniai brūkšniai ir skaičiai, pirmasis simbolis – raidė. Kitų simbolių, pvz., tarpų, taškų, naudoti nerekomenduoju. Uždedame varnelę ties užrašu „Strings as Factors“ \((C_5)\): tekstiniai kintamieji („strings“) bus paverčiami į faktorius („factors“) – statistinei analizei tinkamą kategorinių kintamųjų tipą. Galiausiai spaudžiame „Import“ \((C_6)\). „RStudio“ konsolėje atspausdinamas duomenų nuskaitymui naudojamas programos kodas. Norėdami jį nusikopijuoti, galite žymeklį padėti lange „Console“ ir klaviatūroje paspausti rodyklę į viršų ↑. Atsiras nuskaitymo kodas be papildomų nereikalingų simbolių, kurį patogu kopijuoti.

Tais atvejais, kai reikalingas duomenų nuskaitymo kodas, jį galite nusikopijuoti pav. 9.10 parodytu būdu.

Pav. 9.10: Duomenų nuskaitymo kodo kopijavimas. Lange „Console“ (1) atsiranda programos kodas (2), sugeneruotas duomenų nuskaitymo langu (9.8). Jei kodo nesimato, padidinkite langą (3). Jei po duomenų įkėlimo vykdėte dar ir kitas komandas, padėkite pelės žymeklį „Console“ lange ir spauskite klavišą ↑ (rodyklė į viršų) vieną ar kelis kartus, kol pamatysite reikiamą kodą. Tada jį pasižymėkite, kaip rodoma (5), ir nusikopijuokite. Pastebėkite, kad eilutės pradžioje esančio „>“ simbolio kopijuoti nereikia. Tada kodą įsiklijuokite reikiamoje vietoje (6). Kai dirbate „RStudio“ projekte, tai nuskaitomos bylos pavadinimą galite sutrumpinti (7) panaikindami projekto aplanko pavadinimą (8), kuris, jei nepakeitėte aktyviojo aplanko, matomas viršutinėje „Console“ lango dalyje (9).

Svarbiausi funkcijos argumentai

Svarbiausi funkcijos fread() argumentai:

1. input (tekstas) – duomenų bylos pavadinimas arba patys duomenys (pavyzdys skyriuje „Pavyzdžiai: fread()“):
   • tekstinių duomenų bylos, esančios jūsų kompiuteryje, pavadinimas (įskaitant aplanko pavadinimą, jei byla ne aktyviajame aplanke);
   • tekstinių duomenų bylos, esančios internete, adresas ir pavadinimas;
   • duomenys: tekstas, kuriame daugiau nei viena eilutė, traktuojamas kaip duomenų lentelė;
   • shell komandos – apie jas nesimokysime.
2. sep (tekstas) – stulpelių (reikšmių) skirtukas. Vienas simbolis. Šį skirtuką funkcija fread() įprastai atpažįsta ir parenka automatiškai. Jei skirtukas yra nestandartinis arba funkcija jį parenka neteisingai, reikia nurodyti rankiniu būdu. Įprastai būna tarpas (" "), kablelis (","), kabliataškis (";"), tabuliacija (žymima "\t") arba vertikalus brūkšnys ("|").
3. dec (tekstas) – sveikosios ir dešimtosios skaičiaus dalies skirtukas. Pagal nutylėjimą – tai taškas (dec = "."). Jei sveikoji ir dešimtoji dalys atskirtos kableliu, kaip būna europietiško tipo formatuose, tada tai (dec = ",") reikia nurodyti rankiniu būdu.
4. encoding (tekstas) – koduotė. Galimos reikšmės: "unknown", "UTF-8" arba "Latin-1". Jei siekiama nuskaityti duomenis, kuriuose yra lietuviškų simbolių, įprastai reikalinga UTF-8 koduotė.
5. skip (skaičius arba tekstas) – sveikasis skaičius, nurodantis, kiek eilučių bylos pradžioje turi būti praleista. Tose eilutėse įprastai yra ne duomenų lentelė, o papildoma informacija, komentarai. Jei konkreti reikšmė nenurodyta, šias eilutes funkcija fread() įprastai atpažįsta ir praleidžia automatiškai. Kitos galimos parinktys aprašytos funkcijos dokumentacijoje.
6. nrows (skaičius) – sveikasis skaičius, nurodantis, kiek daugiausiai eilučių nuskaityti. Nurodžius nrows = 0, nuskaitomi tik stulpelių pavadinimai ir sukuriama tuščia lentelė. Nurodžius nrows = Inf, nuskaitomos visos eilutės.
7. header – loginė reikšmė, kuria nurodoma, ar duomenų lentelėje pateikti stulpelių pavadinimai. Jei FALSE, stulpeliams pavadinimai sukuriami naudojant stulpelių numerius. Šį nustatymą funkcija fread() įprastai parenka automatiškai.
8. col.names (tekstas) – jei reikia, ženklų eilučių vektorius su stulpelių pavadinimais.
9. na.strings (tekstas) – ženklų eilučių vektorius su reikšmėmis, kurias reikia interpretuoti kaip praleistas reikšmes.
10. quote (tekstas) – kokios rūšies kabutės naudojamos į vieną stulpelį sujungti tarpais atskirtus žodžius (viengubos ' ar dvigubos "). Pagal nutylėjimą žodžiai tarp dvigubų kabučių (") interpretuojami kaip to paties stulpelio reikšmės. Jei norime pakeisti į viengubas kabutes, galime pasirinkti argumentą quote = "'".
11. stringsAsFactors – loginė reikšmė, nurodanti, ar tekstinius kintamuosius (t. y., ženklų eilutes) interpretuoti kaip kategorinius kintamuosius? Galimo pasirinkimo variantai:
    • FALSE (pasirenkama pagal nutylėjimą) – interpretuoti kaip tekstinius kintamuosius (angl. character, sutrumpintai chr);
    • TRUE – paverčiama į kategorinius kintamuosius (angl. factor).

Jei jūsų kompiuteryje yra įdiegtas paketas data.table, daugiau apie funkciją fread() ir jos parametrus galite sužinoti į „R“ komandų langą suvedę:

?data.table::fread

Pavyzdžiai: fread()

Keliuose tolimesniuose pavyzdžiuose bus naudojami duomenys (arba jų fragmentai), viešai prieinami internetu . Duomenų aprašymą galite rasti čia .

Užkraukime paketą:

library(data.table)

Pirmame pavyzdyje duomenys nuskaityti iš bylos, esančios mano kompiuteryje. Byloje stulpeliai neturi pavadinimų, pirmosios 3 eilutės – papildoma informacija (kaip matome, ji nenuskaitoma). Jūs šiuos duomenis galite atsisiųsti . Atspausdinu pirmąsias tekstinės bylos eilutes:

Source: http://calcnet.mth.cmich.edu/org/spss/V16_materials/DataSets_v16/Diseaseoutbreak.dat
Description: http://calcnet.mth.cmich.edu/org/spss/Prj_diseaseData.htm

1     33      1      1      0      1
2     35      1      1      0      1
3      6      1      1      0      0
4     60      1      1      0      1
5     18      3      1      1      0
6     26      3      1      0      0
7      6      3      1      0      0
8     31      2      1      1      1

# Nuskaitome duomenis kaip tekstą (eilutė po eilutės)
tekstas <- readLines("duomenys/Diseaseoutbreak.txt")  

# Atspausdiname 10 pirmų eilučių
writeLines(tekstas[1:10])
## Source: http://calcnet.mth.cmich.edu/org/spss/V16_materials/DataSets_v16/Diseaseoutbreak.dat
## Description: http://calcnet.mth.cmich.edu/org/spss/Prj_diseaseData.htm
## 
## 1     33      1      1      0      1
## 2     35      1      1      0      1
## 3      6      1      1      0      0
## 4     60      1      1      0      1
## 5     18      3      1      1      0
## 6     26      3      1      0      0
## 7      6      3      1      0      0

Duomenų nuskaitymas:

# Duomenys nuskaityti iš bylos, esančios kompiuteryje.
is_bylos <- fread("duomenys/Diseaseoutbreak.txt", skip = 3)

head(is_bylos)
##    V1 V2 V3 V4 V5 V6
## 1:  1 33  1  1  0  1
## 2:  2 35  1  1  0  1
## 3:  3  6  1  1  0  0
## 4:  4 60  1  1  0  1
## 5:  5 18  3  1  1  0
## 6:  6 26  3  1  0  0

Antrame pavyzdyje duomenys nuskaityti iš bylos, esančios internete. Byloje stulpeliai neturi pavadinimų, tačiau praleistų eilučių bylos pradžioje nėra.

# Duomenys nuskaityti iš bylos, esančios internete.
is_interneto <- fread("http://calcnet.mth.cmich.edu/org/spss/V16_materials/DataSets_v16/Diseaseoutbreak.txt")

head(is_interneto)

##    V1 V2 V3 V4 V5 V6
## 1:  1 33  1  1  0  1
## 2:  2 35  1  1  0  1
## 3:  3  6  1  1  0  0
## 4:  4 60  1  1  0  1
## 5:  5 18  3  1  1  0
## 6:  6 26  3  1  0  0

Trečiame pavyzdyje nukopijuotos 9 šių duomenų eilutės, ir parašytos kaip tekstas (kabutėse). Duomenų stulpeliams suteikiau pavadinimus. Jokių kitų parametrų pateikti nereikėjo, o duomenys vis tiek buvo nuskaityti teisingai.

# Duomenys pateikti kaip tekstas, stulpeliai turi pavadinimus
is_teksto <- fread("
Subject  Age     Class  Sector  Disease   Account
1        33      1      1       0         1
2        35      1      1       0         1
3         6      1      1       0         0
4        60      1      1       0         1
5        18      3      1       1         0
6        26      3      1       0         0
7         6      3      1       0         0
8        31      2      1       1         1
9        26      2      1       1         0
")

head(is_teksto)
##    Subject Age Class Sector Disease Account
## 1:       1  33     1      1       0       1
## 2:       2  35     1      1       0       1
## 3:       3   6     1      1       0       0
## 4:       4  60     1      1       0       1
## 5:       5  18     3      1       1       0
## 6:       6  26     3      1       0       0