R agregační funkce: Shrnutí & Group_by () Příklad

Shrnutí proměnné je důležité mít představu o datech. Shrnutí proměnné podle skupiny poskytuje lepší informace o distribuci dat.

V tomto kurzu se naučíte, jak shrnout datovou sadu podle skupiny s knihovnou dplyr.

V tomto výukovém programu se naučíte

• Shrnout()
• Group_by vs žádná group_by
• Funkce v shrnutí ()
• Základní funkce
• Podmnožina
• Součet
• Standardní odchylka
• Minimální a maximální
• Počet
• První a poslední
• n-té pozorování
• Více skupin
• Filtr
• Oddělit

V tomto kurzu použijete datovou sadu odpalování. Původní datová sada obsahuje 102816 pozorování a 22 proměnných. Z této datové sady použijete pouze 20 procent a použijete následující proměnné:

• playerID: ID hráče. Faktor
• yearID: Year. Faktor
• teamID: Tým. faktor
• lgID: Liga. Faktor: AA AL FL NL PL UA
• AB: U netopýrů. Číselné
• G: Hry: počet her podle hráče. Číselné
• R: Běží. Číselné
• HR: Homeruns. Číselné
• SH: Oběť zasáhne. Číselné

Před provedením shrnutí provedete následující kroky k přípravě dat:

• Krok 1: Importujte data
• Krok 2: Vyberte příslušné proměnné
• Krok 3: Seřaďte data

library(dplyr)# Step 1data <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/lahman-batting.csv") %> %# Step 2select(c(playerID, yearID, AB, teamID, lgID, G, R, HR, SH)) %> %# Step 3arrange(playerID, teamID, yearID)

Dobrým postupem při importu datové sady je použití funkce glimpse () k získání představy o struktuře datové sady.

# Structure of the dataglimpse(data)

Výstup:

Observations: 104,324Variables: 9$ playerID  aardsda01, aardsda01, aardsda01, aardsda01, aardsda01, a… $ yearID  2015, 2008, 2007, 2006, 2012, 2013, 2009, 2010, 2004, 196… $ AB  1, 1, 0, 2, 0, 0, 0, 0, 0, 603, 600, 606, 547, 516, 495,… $ teamID  ATL, BOS, CHA, CHN, NYA, NYN, SEA, SEA, SFN, ATL, ATL, A… $ lgID  NL, AL, AL, NL, AL, NL, AL, AL, NL, NL, NL, NL, NL, NL,… $ G  33, 47, 25, 45, 1, 43, 73, 53, 11, 158, 155, 160, 147, 15… $ R  0, 0, 0, 0, 0, 0, 0, 0, 0, 117, 113, 84, 100, 103, 95, 75… $ HR  0, 0, 0, 0, 0, 0, 0, 0, 0, 44, 39, 29, 44, 38, 47, 34, 40… $ SH  0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 6,… 

Shrnout()

Syntaxe summarize () je základní a konzistentní s ostatními slovesy obsaženými v knihovně dplyr.

summarise(df, variable_name=condition)arguments:- `df`: Dataset used to construct the summary statistics- `variable_name=condition`: Formula to create the new variable

Podívejte se na níže uvedený kód:

summarise(data, mean_run =mean(R))

Vysvětlení kódu

• summarize (data, mean_run = mean (R)): Vytvoří proměnnou s názvem mean_run, která je průměrem běhu sloupce z datové sady dat.

Výstup:

## mean_run## 1 19.20114

Můžete přidat tolik proměnných, kolik chcete. Vrátíte průměrný počet odehraných her a průměrnou oběť.

summarise(data, mean_games = mean(G),mean_SH = mean(SH, na.rm = TRUE))

Vysvětlení kódu

• mean_SH = mean (SH, na.rm = TRUE): Shrňte druhou proměnnou. Nastavíte na.rm = TRUE, protože sloupec SH obsahuje chybějící pozorování.

Výstup:

## mean_games mean_SH## 1 51.98361 2.340085 

Group_by vs žádná group_by

Funkce Summerise () bez group_by () nedává smysl. Vytvoří souhrnnou statistiku podle skupiny. Knihovna dplyr automaticky použije funkci na skupinu, kterou jste předali uvnitř slovesa group_by.

Všimněte si, že skupina_by funguje perfektně se všemi ostatními slovesy (tj. Mutovat (), filtrovat (), uspořádat (), ...).

Je vhodné použít operátor potrubí, když máte více než jeden krok. Průměrný homerun můžete spočítat podle baseballové ligy.

data % > %group_by(lgID) % > %summarise(mean_run = mean(HR))

Vysvětlení kódu

• data: Datová sada použitá k vytvoření souhrnné statistiky
• group_by (lgID): Vypočítat souhrn seskupením proměnné `lgID
• shrnout (mean_run = mean (HR)): Vypočítá průměrný homerun

Výstup:

### A tibble: 7 x 2## lgID mean_run##  ## 1 AA 0.9166667## 2 AL 3.1270988## 3 FL 1.3131313## 4 NL 2.8595953## 5 PL 2.5789474## 6 UA 0.6216216## 7  0.2867133

Provozovatel kanálu také pracuje s ggplot (). Souhrnnou statistiku můžete snadno zobrazit pomocí grafu. Všechny kroky jsou zatlačeny dovnitř potrubí, dokud není vynesen graf. Zdá se více vizuální vidět průměrného homeruna podle ligy s barovým znakem. Níže uvedený kód ukazuje sílu kombinování group_by (), summarize () a ggplot () dohromady.

Provedete následující krok:

• Krok 1: Vyberte datový rámec
• Krok 2: Seskupte data
• Krok 3: Shrňte data
• Krok 4: Nakreslete souhrnné statistiky

library(ggplot2)# Step 1data % > %#Step 2group_by(lgID) % > %#Step 3summarise(mean_home_run = mean(HR)) % > %#Step 4ggplot(aes(x = lgID, y = mean_home_run, fill = lgID)) +geom_bar(stat = "identity") +theme_classic() +labs(x = "baseball league",y = "Average home run",title = paste("Example group_by() with summarise()"))

Výstup:

Funkce v shrnutí ()

Sloveso shrnout () je kompatibilní s téměř všemi funkcemi v R. Zde je krátký seznam užitečných funkcí, které můžete použít společně se shrnutím ():

Uvidíme příklady všech funkcí tabulky 1.

Základní funkce

V předchozím příkladu jste souhrnnou statistiku neuložili do datového rámce.

Chcete-li ze souhrnu vygenerovat datový rámec, můžete postupovat ve dvou krocích:

• Krok 1: Uložte datový rámec pro další použití
• Krok 2: Pomocí datové sady vytvořte spojnicový graf

Krok 1) Vypočítáte průměrný počet her hraných podle roku.

## Meanex1 <- data % > %group_by(yearID) % > %summarise(mean_game_year = mean(G))head(ex1)

Vysvětlení kódu

• Souhrnná statistika souboru dat o odpalování je uložena v datovém rámci ex1.

Výstup:

## # A tibble: 6 x 2## yearID mean_game_year##  ## 1 1871 23.42308## 2 1872 18.37931## 3 1873 25.61538## 4 1874 39.05263## 5 1875 28.39535## 6 1876 35.90625

Krok 2) Souhrnnou statistiku zobrazíte čárovým grafem a uvidíte trend.

# Plot the graphggplot(ex1, aes(x = yearID, y = mean_game_year)) +geom_line() +theme_classic() +labs(x = "Year",y = "Average games played",title = paste("Average games played from 1871 to 2016"))

Výstup:

Podmnožina

Funkce summarize () je kompatibilní s podmnožinou.

## Subsetting + Mediandata % > %group_by(lgID) % > %summarise(median_at_bat_league = median(AB),#Compute the median without the zeromedian_at_bat_league_no_zero = median(AB[AB > 0]))

Vysvětlení kódu

• median_at_bat_league_no_zero = median (AB [AB> 0]): Proměnná AB obsahuje hodně 0. Medián proměnné at bat můžete porovnat s 0 a bez ní.

Výstup:

## # A tibble: 7 x 3## lgID median_at_bat_league median_at_bat_league_no_zero##   ## 1 AA 130 131## 2 AL 38 85## 3 FL 88 97## 4 NL 56 67## 5 PL 238 238## 6 UA 35 35## 7  101 101

Součet

Další užitečnou funkcí pro agregaci proměnné je sum ().

Můžete zkontrolovat, které ligy mají více homerunů.

## Sumdata % > %group_by(lgID) % > %summarise(sum_homerun_league = sum(HR))

Výstup:

## # A tibble: 7 x 2## lgID sum_homerun_league##  ## 1 AA 341## 2 AL 29426## 3 FL 130## 4 NL 29817## 5 PL 98## 6 UA 46## 7  41

Standardní odchylka

Spread v datech se počítá se standardní odchylkou nebo sd () v R.

# Spreaddata % > %group_by(teamID) % > %summarise(sd_at_bat_league = sd(HR))

Výstup:

## # A tibble: 148 x 2## teamID sd_at_bat_league##  ## 1 ALT NA## 2 ANA 8.7816395## 3 ARI 6.0765503## 4 ATL 8.5363863## 5 BAL 7.7350173## 6 BFN 1.3645163## 7 BFP 0.4472136## 8 BL1 0.6992059## 9 BL2 1.7106757## 10 BL3 1.0000000## #… with 138 more rows

V množství homerunů provedených každým týmem je spousta nerovností.

Minimální a maximální

K minimu a maximu vektoru můžete přistupovat pomocí funkce min () a max ().

Níže uvedený kód vrací nejnižší a nejvyšší počet her v sezóně hraných hráčem.

# Min and maxdata % > %group_by(playerID) % > %summarise(min_G = min(G),max_G = max(G))

Výstup:

## # A tibble: 10,395 x 3## playerID min_G max_G##  ## 1 aardsda01 53 73## 2 aaronha01 120 156## 3 aasedo01 24 66## 4 abadfe01 18 18## 5 abadijo01 11 11## 6 abbated01 3 153## 7 abbeybe01 11 11## 8 abbeych01 80 132## 9 abbotgl01 5 23## 10 abbotji01 13 29## #… with 10,385 more rows

Počet

Počítat pozorování podle skupin je vždy dobrý nápad. S R můžete agregovat počet výskytů pomocí n ().

Například níže uvedený kód počítá počet let odehraných každým hráčem.

# count observationsdata % > %group_by(playerID) % > %summarise(number_year = n()) % > %arrange(desc(number_year))

Výstup:

## # A tibble: 10,395 x 2## playerID number_year##  ## 1 pennohe01 11## 2 joosted01 10## 3 mcguide01 10## 4 rosepe01 10## 5 davisha01 9## 6 johnssi01 9## 7 kaatji01 9## 8 keelewi01 9## 9 marshmi01 9## 10 quirkja01 9## #… with 10,385 more rows

První a poslední

Můžete vybrat první, poslední nebo nou pozici skupiny.

Můžete například najít první a poslední rok každého hráče.

# first and lastdata % > %group_by(playerID) % > %summarise(first_appearance = first(yearID),last_appearance = last(yearID))

Výstup:

## # A tibble: 10,395 x 3## playerID first_appearance last_appearance##   ## 1 aardsda01 2009 2010## 2 aaronha01 1973 1975## 3 aasedo01 1986 1990## 4 abadfe01 2016 2016## 5 abadijo01 1875 1875## 6 abbated01 1905 1897## 7 abbeybe01 1894 1894## 8 abbeych01 1895 1897## 9 abbotgl01 1973 1979## 10 abbotji01 1992 1996## #… with 10,385 more rows

n-té pozorování

Písmo nth () je doplňkové k first () a last (). K n-tému pozorování ve skupině máte přístup pomocí indexu, který se chcete vrátit.

Můžete například filtrovat pouze druhý rok, který tým hrál.

# nthdata % > %group_by(teamID) % > %summarise(second_game = nth(yearID, 2)) % > %arrange(second_game)

Výstup:

## # A tibble: 148 x 2## teamID second_game##  ## 1 BS1 1871## 2 CH1 1871## 3 FW1 1871## 4 NY2 1871## 5 RC1 1871## 6 BR1 1872## 7 BR2 1872## 8 CL1 1872## 9 MID 1872## 10 TRO 1872## #… with 138 more rows

Zřetelný počet pozorování

Funkce n () vrací počet pozorování v aktuální skupině. Uzavřená funkce pro n () je n_distinct (), která počítá počet jedinečných hodnot.

V dalším příkladu sečte celkový počet hráčů, které tým získal během všech období.

# distinct valuesdata % > %group_by(teamID) % > %summarise(number_player = n_distinct(playerID)) % > %arrange(desc(number_player))

Vysvětlení kódu

• group_by (teamID): Seskupit podle roku a týmu
• shrnout (number_player = n_distinct (playerID)): spočítat odlišný počet hráčů podle týmu
• uspořádat (desc (number_player)): Seřadit data podle počtu hráčů

Výstup:

## # A tibble: 148 x 2## teamID number_player##  ## 1 CHN 751## 2 SLN 729## 3 PHI 699## 4 PIT 683## 5 CIN 679## 6 BOS 647## 7 CLE 646## 8 CHA 636## 9 DET 623## 10 NYA 612## #… with 138 more rows

Více skupin

Souhrnnou statistiku lze realizovat mezi více skupinami.

# Multiple groupsdata % > %group_by(yearID, teamID) % > %summarise(mean_games = mean(G)) % > %arrange(desc(teamID, yearID))

Vysvětlení kódu

• group_by (yearID, teamID): Group by year and team
• summarize (mean_games = mean (G)): Shrňte počet hráčů
• uspořádat (desc (teamID, yearID)): Seřadit data podle týmu a roku

Výstup:

## # A tibble: 2,829 x 3## # Groups: yearID [146]## yearID teamID mean_games##   ## 1 1884 WSU 20.41667## 2 1891 WS9 46.33333## 3 1886 WS8 22.00000## 4 1887 WS8 51.00000## 5 1888 WS8 27.00000## 6 1889 WS8 52.42857## 7 1884 WS7 8.00000## 8 1875 WS6 14.80000## 9 1873 WS5 16.62500## 10 1872 WS4 4.20000## #… with 2,819 more rows 

Filtr

Než zamýšlíte provést operaci, můžete datovou sadu filtrovat. Soubor dat začíná v roce 1871 a analýza nepotřebuje roky před rokem 1980.

# Filterdata % > %filter(yearID > 1980) % > %group_by(yearID) % > %summarise(mean_game_year = mean(G))

Vysvětlení kódu

• filtr (yearID> 1980): Filtrování dat tak, aby zobrazovaly pouze relevantní roky (tj. po roce 1980)
• group_by (yearID): Seskupit podle roku
• summarize (mean_game_year = mean (G)): Shrnutí dat

Výstup:

## # A tibble: 36 x 2## yearID mean_game_year##  ## 1 1981 40.64583## 2 1982 56.97790## 3 1983 60.25128## 4 1984 62.97436## 5 1985 57.82828## 6 1986 58.55340## 7 1987 48.74752## 8 1988 52.57282## 9 1989 58.16425## 10 1990 52.91556## #… with 26 more rows

Oddělit

V neposlední řadě je třeba odstranit seskupení, než budete chtít změnit úroveň výpočtu.

# Ungroup the datadata % > %filter(HR > 0) % > %group_by(playerID) % > %summarise(average_HR_game = sum(HR) / sum(G)) % > %ungroup() % > %summarise(total_average_homerun = mean(average_HR_game))

Vysvětlení kódu

• filter (HR> 0): Exclude zero homerun
• group_by (playerID): seskupit podle hráče
• summarize (average_HR_game = sum (HR) / sum (G)): Vypočítá průměrnou homerun podle hráče
• ungroup (): odebrat seskupení
• summarize (total_average_homerun = mean (average_HR_game)): Shrňte data

Výstup:

## # A tibble: 1 x 1## total_average_homerun## ## 1 0.06882226

souhrn

Chcete-li vrátit shrnutí podle skupiny, můžete použít:

# group by X1, X2, X3group(df, X1, X2, X3) 

musíte oddělit data pomocí:

ungroup(df) 

Následující tabulka shrnuje funkci, kterou jste se naučili pomocí funkce shrnout ()

summarise(df,mean_x1 = mean(x1))

summarise(df,median_x1 = median(x1))

summarise(df,sum_x1 = sum(x1))

summarise(df,sd_x1 = sd(x1))

summarise(df,interquartile_x1 = IQR(x1))

summarise(df,minimum_x1 = min(x1))

summarise(df,maximum_x1 = max(x1))

summarise(df,quantile_x1 = quantile(x1))

summarise(df,first_x1 = first(x1))

summarise(df,last_x1 = last(x1))

summarise(df,nth_x1 = nth(x1, 2))

summarise(df,n_x1 = n(x1))

summarise(df,n_distinct _x1 = n_distinct(x1))