base-R
提供标准 R 语言的编程基础参考,涵盖向量矩阵数据框等数据结构、子集提取、控制流、函数、统计计算与绘图
完整提示词
---
name: base-r
description: 提供基于标准 R 安装中包含的包的 R 编程基础指导,涵盖数据结构、数据处理、统计建模、可视化和输入/输出操作
---
# Base R 编程技能
一份全面的 base R 编程参考指南——涵盖数据结构、控制流、函数、输入/输出、统计计算和绘图。
## 快速参考
### 数据结构
```r
# 向量(原子型)
x <- c(1, 2, 3) # 数值型
y <- c("a", "b", "c") # 字符型
z <- c(TRUE, FALSE, TRUE) # 逻辑型
# 因子
f <- factor(c("low", "med", "high"), levels = c("low", "med", "high"), ordered = TRUE)
# 矩阵
m <- matrix(1:6, nrow = 2, ncol = 3)
m[1, ] # 第一行
m[, 2] # 第二列
# 列表
lst <- list(name = "ali", scores = c(90, 85), passed = TRUE)
lst$name # 按名称访问
lst[[2]] # 按位置访问
# 数据框
df <- data.frame(
id = 1:3,
name = c("a", "b", "c"),
value = c(10.5, 20.3, 30.1),
stringsAsFactors = FALSE
)
df[df$value > 15, ] # 过滤行
df$new_col <- df$value * 2 # 添加列
```
### 子集提取
```r
# 向量
x[1:3] # 按位置
x[c(TRUE, FALSE)] # 按逻辑值
x[x > 5] # 按条件
x[-1] # 排除第一个
# 数据框
df[1:5, ] # 前5行
df[, c("name", "value")] # 选择列
df[df$value > 10, "name"] # 过滤 + 选择
subset(df, value > 10, select = c(name, value))
# 使用 which() 获取索引位置
idx <- which(df$value == max(df$value))
```
### 控制流
```r
# if/else
if (x > 0) {
"positive"
} else if (x == 0) {
"zero"
} else {
"negative"
}
# ifelse(向量化)
ifelse(x > 0, "pos", "neg")
# for 循环
for (i in seq_along(x)) {
cat(i, x[i], "\n")
}
# while 循环
while (condition) {
# 主体
if (stop_cond) break
}
# switch
switch(type,
"a" = do_a(),
"b" = do_b(),
stop("Unknown type")
)
```
### 函数
```r
# 定义函数
my_func <- function(x, y = 1, ...) {
result <- x + y
return(result) # 或直接写:result
}
# 匿名函数
sapply(1:5, function(x) x^2)
# R 4.1+ 简写:
sapply(1:5, \(x) x^2)
# 有用技巧:使用 do.call 调用带参数列表的函数
do.call(paste, list("a", "b", sep = "-"))
```
### Apply 系列函数
```r
# sapply — 将结果简化为向量/矩阵
sapply(lst, length)
# lapply — 始终返回列表
lapply(lst, function(x) x[1])
# vapply — 类似 sapply,但具有类型安全性
vapply(lst, length, integer(1))
# apply — 按矩阵维度应用(1=行,2=列)
apply(m, 2, sum)
# tapply — 按分组应用
tapply(df$value, df$group, mean)
# mapply — 多变量版本
mapply(function(x, y) x + y, 1:3, 4:6)
# aggregate — 类似 tapply,用于数据框
aggregate(value ~ group, data = df, FUN = mean)
```
### 字符串操作
```r
paste("a", "b", sep = "-") # "a-b"
paste0("x", 1:3) # "x1" "x2" "x3"
sprintf("%.2f%%", 3.14159) # "3.14%"
nchar("hello") # 5
substr("hello", 1, 3) # "hel"
gsub("old", "new", text) # 替换所有
grep("pattern", x) # 匹配项的索引
grepl("pattern", x) # 逻辑向量
strsplit("a,b,c", ",") # list("a","b","c")
trimws(" hi ") # "hi"
tolower("ABC") # "abc"
```
### 数据输入/输出
```r
# CSV
df <- read.csv("data.csv", stringsAsFactors = FALSE)
write.csv(df, "output.csv", row.names = FALSE)
# 制表符分隔
df <- read.delim("data.tsv")
# 通用文本文件
df <- read.table("data.txt", header = TRUE, sep = "\t")
# RDS(单个 R 对象,保留类型)
saveRDS(obj, "data.rds")
obj <- readRDS("data.rds")
# RData(多个对象)
save(df1, df2, file = "data.RData")
load("data.RData")
# 连接
con <- file("big.csv", "r")
chunk <- readLines(con, n = 100)
close(con)
```
### Base 绘图
```r
# 散点图
plot(x, y, main = "Title", xlab = "X", ylab = "Y",
pch = 19, col = "steelblue", cex = 1.2)
# 折线图
plot(x, y, type = "l", lwd = 2, col = "red")
lines(x, y2, col = "blue", lty = 2) # 添加线条
# 条形图
barplot(table(df$category), main = "Counts",
col = "lightblue", las = 2)
# 直方图
hist(x, breaks = 30, col = "grey80",
main = "Distribution", xlab = "Value")
# 箱线图
boxplot(value ~ group, data = df,
col = "lightyellow", main = "By Group")
# 多图布局
par(mfrow = c(2, 2)) # 2x2 网格
# ... 四个图 ...
par(mfrow = c(1, 1)) # 重置
# 保存到文件
png("plot.png", width = 800, height = 600)
plot(x, y)
dev.off()
# 添加图元素
legend("topright", legend = c("A", "B"),
col = c("red", "blue"), lty = 1)
abline(h = 0, lty = 2, col = "grey")
text(x, y, labels = names, pos = 3, cex = 0.8)
```
### 统计
```r
# 描述性统计
mean(x); median(x); sd(x); var(x)
quantile(x, probs = c(0.25, 0.5, 0.75))
summary(df)
cor(x, y)
table(df$category) # 频数表
# 线性模型
fit <- lm(y ~ x1 + x2, data = df)
summary(fit)
coef(fit)
predict(fit, newdata = new_df)
confint(fit)
# t 检验
t.test(x, y) # 两样本 t 检验
t.test(x, mu = 0) # 单样本
t.test(before, after, paired = TRUE)
# 卡方检验
chisq.test(table(df$a, df$b))
# 方差分析
fit <- aov(value ~ group, data = df)
summary(fit)
TukeyHSD(fit)
# 相关性检验
cor.test(x, y, method = "pearson")
```
### 数据操作
```r
# 合并(连接)
merged <- merge(df1, df2, by = "id") # 内连接
merged <- merge(df1, df2, by = "id", all = TRUE) # 全外连接
merged <- merge(df1, df2, by = "id", all.x = TRUE) # 左连接
# 重塑数据
wide <- reshape(long, direction = "wide",
idvar = "id", timevar = "time", v.names = "value")
long <- reshape(wide, direction = "long",
varying = list(c("v1", "v2")), v.names = "value")
# 排序
df[order(df$value), ] # 升序
df[order(-df$value), ] # 降序
df[order(df$group, -df$value), ] # 多列排序
# 删除重复项
df[!duplicated(df), ]
df[!duplicated(df$id), ]
# 堆叠 / 合并
rbind(df1, df2) # 堆叠行(列相同)
cbind(df1, df2) # 绑定列(行相同)
# 转换列
df$log_val <- log(df$value)
df$category <- cut(df$value, breaks = c(0, 10, 20, Inf),
labels = c("low", "med", "high"))
```
### 环境与调试
```r
ls() # 列出对象
rm(x) # 删除对象
rm(list = ls()) # 清除所有对象
str(obj) # 查看结构
class(obj) # 查看类
typeof(obj) # 查看内部类型
is.na(x) # 检查是否为 NA
complete.cases(df) # 返回不含 NA 的行
traceback() # 出错后查看调用栈
debug(my_func) # 逐行调试函数
browser() # 在代码中设置断点
system.time(expr) # 计时
Sys.time() # 当前时间
```
## 参考文件
如需更深入的内容,请阅读 `references/` 目录中的参考文件:
### 函数陷阱与快速参考(摘自 R 4.5.3 参考手册)
非显而易见的行为、令人惊讶的默认值以及棘手的交互 —— 仅包含 Claude 尚未掌握的内容:
- **data-wrangling.md** — 当出现以下情况时阅读:子集提取返回错误类型,对数据框使用 apply 导致意外的类型转换,merge/split/cbind 行为异常,过滤后因子水平仍然保留,table/duplicated 存在边界情况。
- **modeling.md** — 当出现以下情况时阅读:公式语法令人困惑(`I()`、`*` 与 `:` 的区别、`/`),aov 给出错误的平方和类型,glm 静默拟合 OLS,nls 无法收敛,predict 返回错误尺度,optim/optimize 需要调参。
- **statistics.md** — 当出现以下情况时阅读:假设检验结果出乎意料,需要选择正确的 p.adjust 方法,聚类参数看起来不对,分布函数命名令人困惑(`d`/`p`/`q`/`r` 前缀)。
- **visualization.md** — 当出现以下情况时阅读:par 设置意外重置,layout/mfrow 交互令人困惑,坐标轴标签被裁剪,颜色显示不正确,需要绘制特殊图形(等高线图、三维图、马赛克图、配对图)。
- **io-and-text.md** — 当出现以下情况时阅读:read.table 静默丢弃数据或错误解析列,正则表达式行为与预期不同,sprintf 格式化复杂,write.table 输出包含不需要的行名。
- **dates-and-system.md** — 当出现以下情况时阅读:Date/POSIXct 转换导致日期错误,时区引起差一天的问题,difftime 的单位出乎意料,需要以编程方式查找/列出/测试文件。
- **misc-utilities.md** — 当出现以下情况时阅读:do.call 行为与直接调用不同,需要使用 Reduce/Filter/Map,tryCatch 处理器未触发,all.equal 返回字符串而非逻辑值,时间序列函数需要额外设置。
## 编写优质 R 代码的提示
- 在生产代码中优先使用 `vapply()` 而非 `sapply()` —— 它强制指定返回类型
- 优先使用 `seq_along(x)` 而非 `1:length(x)` —— 后者在 `x` 为空时会出错
- 在 `read.csv()` / `data.frame()` 中使用 `stringsAsFactors = FALSE`(R 4.0 中默认值已更改)
- 尽可能向量化操作,避免编写循环
- 使用 `stop()`、`warning()`、`message()` 进行错误处理 —— 而非 `print()`
- `<<-` 会赋值到父环境 —— 应谨慎且有意识地使用
- 使用 `with(df, expr)` 可避免重复书写 `df$`
- 使用 `Sys.setenv()` 和 `.Renviron` 管理环境变量
FILE:references/misc-utilities.md
# 杂项工具 — 快速参考
> R 函数中非显而易见的行为、陷阱和棘手的默认设置。
> 仅包含 Claude 尚未掌握的内容。
---
## do.call
- `do.call(fun, args_list)` — `args` 必须是一个 **列表**,即使只有一个参数。
- `quote = TRUE` 可防止在调用前对参数求值 —— 在传递表达式/符号时需要此选项。
- `substitute` 在 `do.call` 内部的行为与直接调用时不同。此情况下的语义并未完全定义。
- 常用模式:`do.call(rbind, list_of_dfs)` 用于合并数据框列表。
---
## Reduce / Filter / Map / Find / Position
来自 base R 的函数式编程辅助函数 —— 确实不易理解。
- `Reduce(f, x)` 将二元函数 `f` 累积应用:`Reduce("+", 1:4)` = `((1+2)+3)+4`。对于非交换运算,方向很重要。
- `Reduce(f, x, accumulate = TRUE)` 返回所有中间结果 — 等价于 Python 的 `itertools.accumulate`。
- `Reduce(f, x, right = TRUE)` 从右侧折叠:`f(x1, f(x2, f(x3, x4)))`。
- 带 `init` 的 `Reduce` 添加一个起始值:`Reduce(f, x, init = v)` = `f(f(f(v, x1), x2), x3)`。
- `Filter(f, x)` 保留 `f(elem)` 为 `TRUE` 的元素。与 `x[sapply(x, f)]` 不同,能正确处理 `NULL`/空值。
- `Map(f, ...)` 是 `mapply(f, ..., SIMPLIFY = FALSE)` 的简单封装 — 始终返回一个列表。
- `Find(f, x)` 返回 **第一个** 满足 `f(elem)` 为 `TRUE` 的元素。使用 `Find(f, x, right = TRUE)` 可获取最后一个。
- `Position(f, x)` 返回第一个匹配项的 **索引**(类似 `Find`,但返回位置而非值)。
---
## lengths
- `lengths(x)` 返回列表中每个元素的长度。等价于 `sapply(x, length)`,但更快(以 C 实现)。
- 可作用于任意类列表对象。返回整数向量。
---
## conditions (tryCatch / withCallingHandlers)
- `tryCatch` 会 **展开** 调用栈 — 处理程序在调用环境中运行,而非错误发生处。无法恢复执行。
- `withCallingHandlers` 不展开调用栈 — 处理程序在条件触发的位置运行。可进行检查/日志记录后再让条件继续传播。
- `tryCatch(expr, error = function(e) e)` 返回错误条件对象。
- `tryCatch(expr, warning = function(w) {...})` 捕获 **第一个** 警告并退出。若要抑制警告并继续执行,请使用 `withCallingHandlers` + `invokeRestart("muffleWarning")`。
- `tryCatch` 的 `finally` 子句始终运行(类似于 Java 的 try/finally)。
- `globalCallingHandlers()` 注册在整个会话期间持续有效的处理程序(适用于日志记录)。
- 自定义条件:`stop(errorCondition("msg", class = "myError"))`,然后通过 `tryCatch(..., myError = function(e) ...)` 捕获。
FILE:references/data-wrangling.md
# 数据处理 — 快速参考
> R 函数中非显而易见的行为、陷阱和棘手的默认设置。
> 仅包含 Claude 尚未知晓的内容。
---
## 提取 / Extract.data.frame
base R 中的索引陷阱。
- `m[j = 2, i = 1]` 等价于 `m[2, 1]` 而非 `m[1, 2]` —— `[` 中的参数名会被**忽略**,仅按位置匹配。切勿为索引参数命名。
- 因子索引:`x[f]` 使用因子 `f` 的整数编码,而非其字符标签。若要基于标签索引,请使用 `x[as.character(f)]`。
- `x[[]]` 不带索引始终是错误。`x$name` 默认启用部分匹配;而 `x[["name"]]` 不启用(默认精确匹配)。
- 通过 `x[[i]] <- NULL` 或 `x$name <- NULL` 赋值 `NULL` 会**删除**该列表元素。
- 单列情况下对数据框使用 `[`:`df[, 1]` 返回一个**向量**(列的 drop=TRUE 默认值),但 `df[1, ]` 返回一个**数据框**(行的 drop=FALSE)。请显式使用 `drop = FALSE`。
- 使用矩阵索引数据框(`df[cbind(i,j)]`)会先强制转换为矩阵——应避免。
---
## subset
仅用于交互式使用;在编程中不安全。
- `subset` 参数使用**非标准求值**——列名在数据框内解析,这在程序化使用中可能静默地捕获错误变量。在函数中应使用 `[` 并配合显式逻辑条件。
- 逻辑条件中的 `NA` 被视为 `FALSE`(行被静默删除)。
- 子集化后因子可能保留未使用的水平;调用 `droplevels()` 可清除。
---
## match / %in%
- `%in%` **从不返回 NA**——这使得它比 `==` 更安全,可用于 `if()` 条件判断。
- `match()` 仅返回**第一个**匹配的位置;`table` 中的重复项将被忽略。
- 因子、原始向量和列表在匹配前都会被转换为字符型。
- `NaN` 与 `NaN` 匹配,但不与 `NA` 匹配;`NA` 仅与 `NA` 匹配。
---
## apply
- 对**数据框**使用 `apply` 时,会先通过 `as.matrix` 强制转换为矩阵——混合类型将变为字符型。
- 返回值的方向是转置的:如果 FUN 返回长度为 n 的向量,则结果维度为 `c(n, dim(X)[MARGIN])`。行结果会变成**列**。
- 输出数组中的因子结果会被强制转换为字符型。
- `...` 参数不能与 `X`、`MARGIN` 或 `FUN` 同名(存在部分匹配风险)。
---
## lapply / sapply / vapply
- `sapply` 可能不可预测地返回向量、矩阵或列表——在非交互式代码中使用 `vapply`,并提供显式的 `FUN.VALUE` 模板。
- 在 `lapply` 中直接调用原语可能导致分派问题;应使用 `function(x) is.numeric(x)` 而非裸写 `is.numeric`。
- 使用 `simplify = "array"` 的 `sapply` 可生成高维数组(不仅仅是矩阵)。
---
## tapply
- 返回一个**数组**(而非数据框)。返回值的类信息会被**丢弃**(例如,Date 对象变为数值型)。
- 传递给 FUN 的 `...` 参数不会按单元格划分——它们是全局应用的,因此 FUN 不应期望接收与 X 长度相同的额外参数。
- `default = NA` 填充空单元格;对于求和类操作可设 `default = 0`。在 R 3.4.0 之前此值硬编码为 `NA`。
- 使用 `array2DF()` 将结果转换为数据框。
---
## mapply
- 参数名为 `SIMPLIFY`(全大写),而非 `simplify`——与 `sapply` 不一致。
- `MoreArgs` 必须是一个**列表**,包含不参与向量化的参数。
- 较短的参数会被循环复用至共同长度;零长度参数产生零长度结果。
---
## merge
- 默认 `by` 为 `intersect(names(x), names(y))`——若数据框有共享列名,可能静默地在非预期列上合并。
- `by = 0` 或 `by = "row.names"` 按行名合并,并添加一个 "Row.names" 列。
- `by = NULL`(或 `by.x`/`by.y` 均长度为 0)产生**笛卡尔积**。
- 结果默认按 `by` 列排序(`sort = TRUE`)。如需无序输出,请使用 `sort = FALSE`。
- 键的重复匹配会产生**所有组合**(每对匹配生成一行)。
---
## split
- 若 `f` 是因子列表,则使用 interaction;若 levels 包含 `"."`,除非更改 `sep`,否则可能导致意外分割。
- `drop = FALSE`(默认)保留空因子水平作为空列表元素。
- 支持公式语法:`split(df, ~ Month)`。
---
## cbind / rbind
- 对数据框使用 `cbind` 会调用 `data.frame(...)`,而非 `cbind.matrix`。混合矩阵和数据框可能导致意外结果。
- 对数据框使用 `rbind` 按**名称**而非位置匹配列。缺失列将填充 `NA`。
- `cbind(NULL)` 返回 `NULL`(不是矩阵)。为保持一致性,`rbind(NULL)` 也返回 `NULL`。
---
## table
- 默认**排除 NA**(`useNA = "no"`)。使用 `useNA = "ifany"` 或 `exclude = NULL` 来统计 NA。
- 设置非空且非默认的 `exclude` 意味着 `useNA = "ifany"`。
- 结果始终是一个**数组**(即使是 1D),类为 "table"。使用 `as.data.frame(tbl)` 转换为数据框。
- 两种类型的 NA(因子层级的 NA 与实际 NA)根据 `useNA`/`exclude` 被不同处理。
---
## duplicated / unique
- `duplicated` 将**第二次及之后**出现的元素标记为 TRUE,而非第一次。使用 `fromLast = TRUE` 可反转此行为。
- 对于数据框,操作作用于整行。对于列表,进行递归比较。
- `unique` 保留每个值的**第一次**出现。
---
## data.frame (陷阱)
- 自 R 4.0.0 起,默认 `stringsAsFactors = FALSE`(此前为 TRUE)。
- 原子向量会循环补齐以匹配最长列,但仅当长度为精确倍数时;使用 `I()` 保护可防止转换。
- 只有在 `check.names = FALSE` 时才允许重复列名,但许多操作会自动静默去重。
- 矩阵参数会被展开为多列,除非用 `I()` 保护。
---
## factor (陷阱)
- `as.numeric(f)` 返回**整数编码**,而非原始值。应使用 `as.numeric(levels(f))[f]` 或 `as.numeric(as.character(f))`。
- 因子之间仅 `==` 和 `!=` 有效;因子必须具有完全相同的水平集。有序因子支持 `<`、`>`。
- 对因子使用 `c()` 会合并水平集(自 R 4.1.0 起),而早期版本会转换为整数。
- 水平默认排序,但排序顺序在创建时**依赖于本地化设置(locale-dependent)**。
---
## aggregate
- 公式接口(`aggregate(y ~ x, data, FUN)`)默认会删除 `NA` 分组。
- 数据框方法要求 `by` 参数为**列表**(而非向量)。
- 返回的列以分组变量命名,结果列保留原始名称。
- 若 FUN 返回多个值,则结果列为数据框内的**矩阵列**。
---
## complete.cases
- 返回逻辑向量:对所有列/参数中**无** NA 的行返回 TRUE。
- 可用于多个参数(例如,`complete.cases(x, y)` 同时检查 x 和 y)。
---
## order
- 返回一个**排列索引向量**,而非已排序的值。需使用 `x[order(x)]` 来排序。
- 默认为升序;对数值使用 `-x` 实现降序,或使用 `decreasing = TRUE`。
- 字符排序依赖于本地化设置(locale)。使用 `method = "radix"` 可实现与本地化无关的快速排序。
- 对大型整数/字符向量,使用 `method = "radix"` 的 `sort.int()` 快得多。
- `options(OutDec = ",")`: 更改输出中的小数分隔符(影响 `format`、`print`,但不影响 `sprintf`)。
- `options(stringsAsFactors = FALSE)`: 设置 `data.frame` 的全局默认值(自 R 4.0.0 起已默认为 FALSE,因此此选项已无实际意义)。
- `options(expressions = 5000)`: 最大嵌套求值层数。深度递归时需增大该值。
- `options(max.print = 99999)`: 控制 `print` 输出的截断行为。
- `options(na.action = "na.omit")`: 模型函数中处理 NA 的默认方式。
- `options(contrasts = c("contr.treatment", "contr.poly"))`: 无序/有序因子的默认对比方式。
---
## file.path / basename / dirname
- `file.path("a", "b", "c.txt")` → `"a/b/c.txt"`(使用平台适配的路径分隔符)。
- `basename("/a/b/c.txt")` → `"c.txt"`。`dirname("/a/b/c.txt")` → `"/a/b"`。
- `file.path` 不会对路径进行规范化(不解析 `..`);如需规范化,请使用 `normalizePath()`。
---
## list.files
- `list.files(pattern = "*.csv")` — `pattern` 是 **正则表达式**,而非通配符!应使用 `glob2rx("*.csv")` 或 `"\\.csv$"`。
- `full.names = FALSE`(默认)仅返回文件名部分。使用 `full.names = TRUE` 获取完整路径。
- `recursive = TRUE` 以搜索子目录。
- `all.files = TRUE` 以包含隐藏文件(以 `.` 开头的文件)。
---
## file.info
- 返回包含 `size`、`isdir`、`mode`、`mtime`、`ctime`、`atime`、`uid`、`gid` 的数据框。
- `mtime`:修改时间(POSIXct 格式)。常用于 `file.info(f)$mtime`。
- 在某些文件系统上,`ctime` 表示状态更改时间,而非创建时间。
---
## file_test
- `file_test("-f", path)`: 若普通文件存在则返回 TRUE。
- `file_test("-d", path)`: 若目录存在则返回 TRUE。
- `file_test("-nt", f1, f2)`: 若 f1 比 f2 更新则返回 TRUE。
- 相较于 `file.exists()`,此函数在区分文件与目录时更可靠。
- 匹配字符串开头:结果的第一个元素是 `""`。匹配字符串结尾:没有尾随的 `""`。
- `fixed = TRUE` 更快,且避免正则表达式的解释。
- 常见错误:未命名的参数会静默匹配 `fixed`、`perl` 等参数。
- 需要拟合好的 `aov` 对象(不能是 `lm`)。
- 默认 `conf.level = 0.95`。返回所有成对比较的调整后 p 值和置信区间。
- 仅在**平衡**或接近平衡的设计中有效;对于严重不平衡的数据可能过于宽松。
> R 函数中不明显的行爲、陷阱和棘手的默认设置。
> 仅包含 Claude 尚不知道的内容。
---
## chisq.test
- `correct = TRUE`(默认)仅对 **2x2 表格** 应用 Yates 连续性校正。
- `simulate.p.value = TRUE`:使用 `B = 2000` 次重复的蒙特卡洛模拟(最小 p 值 ~ 0.0005)。模拟假设 **固定边际**(Fisher 风格抽样,而非卡方假设)。
- 用于拟合优度检验时:传入向量而非矩阵。`p` 必须加总为 1(或设置 `rescale.p = TRUE`)。
- 返回对象包含 `$expected`、`$residuals`(Pearson 残差)和 `$stdres`(标准化残差)。
---
## wilcox.test
- 小样本且无结时默认 `exact = TRUE`。存在结时使用正态近似。
- `correct = TRUE` 对正态近似应用连续性校正。
- `conf.int = TRUE` 计算 Hodges-Lehmann 估计量和置信区间(不仅返回 p 值)。
- 配对检验:`paired = TRUE` 使用符号秩检验(Wilcoxon),而非秩和检验(Mann-Whitney)。
---
## fisher.test
- 对于大于 2x2 的表格,使用模拟(`simulate.p.value = TRUE`)或网络算法。
- `workspace` 控制网络算法的内存使用;若在大表格上出错,可增加该值。
- `or` 参数用于检验特定的比数比(默认为 1)——仅适用于 2x2 表格。
---
## ks.test
- 可用于两样本检验,或一个样本与参考分布的检验。
- **不擅长处理结**——会发出警告并使用渐近近似。
- 对于复合假设(参数由数据估计得出),p 值 **偏保守**(过大)。对于离散分布,使用 `dgof` 或设置 `ks.test` 的 `exact = NULL`。
---
## p.adjust
- 方法:`"holm"`(默认)、`"BH"`(Benjamini-Hochberg FDR)、`"bonferroni"`、`"BY"`、`"hochberg"`、`"hommel"`、`"fdr"`(BH 的别名)、`"none"`。
- `n` 参数:假设检验总数(可大于 `length(p)`,若部分 p 值被排除)。
- 处理 `NA`:输入为 `NA` 时,调整后的 p 值也为 `NA`。
---
## pairwise.t.test / pairwise.wilcox.test
- `p.adjust.method` 默认为 `"holm"`。改为 `"BH"` 可实现 FDR 控制。
- `pool.sd = TRUE`(t 检验默认):使用所有组的合并标准差(假设方差相等)。
- 返回 p 值矩阵,而非检验统计量。
---
## shapiro.test
- 样本量必须在 3 到 5000 之间。
- 检验正态性;p 值小表示反对正态性的证据。
---
## kmeans
- 建议设置 `nstart > 1`(例如 `nstart = 25`):从多个随机起点运行算法,返回最佳结果。
- 默认 `iter.max = 10`——可能不足以收敛。对大规模或复杂数据应增加此值。
- 默认算法为 "Hartigan-Wong"(通常最佳)。点非常接近时可能导致不收敛(出现 `ifault = 4` 警告)。
- 聚类编号是任意的;不同平台上的顺序可能不同。
- 指定 k 时始终返回 k 个聚类(Lloyd-Forgy 算法可能返回更少)。
---
## hclust
- `method = "ward.D2"` 正确实现了 Ward 准则(使用平方距离)。旧的 `"ward.D"` 未对距离平方(为保持向后兼容性保留)。
- 输入必须是 `dist` 对象。使用 `as.dist()` 将对称矩阵转换。
- `plot()` 中的 `hang = -1` 使所有标签对齐在底部。
---
## dist
- `method = "euclidean"`(默认)。其他选项:"manhattan"、"maximum"、"canberra"、"binary"、"minkowski"。
- 返回 `dist` 对象(仅下三角)。使用 `as.matrix()` 获取完整矩阵。
- `"canberra"`:分子和分母均为零的项 **从求和中省略**(不视为 0/0)。
- `Inf` 值:涉及 `Inf` 的欧氏距离为 `Inf`。同一观测中多个 `Inf` 在某些方法下产生 `NaN`。
---
## prcomp vs princomp
- `prcomp` 使用 **SVD**(数值更优);`princomp` 在协方差矩阵上使用 `eigen`(稳定性较差,N-1 与 N 缩放不同)。
- `prcomp` 中的 `scale. = TRUE` 对变量进行标准化;当变量尺度差异很大时很重要。
- `princomp` 的标准差与 `prcomp` 相差 `sqrt((n-1)/n)` 倍。
- 两者均返回 `$rotation`(载荷)和 `$x`(得分);成分符号可能在不同运行间不同。
---
## density
- 默认带宽:`bw = "nrd0"`(Silverman 经验法则)。对于多峰数据,考虑使用 `"SJ"` 或 `"bcv"`。
- `adjust`:带宽的乘法因子。`adjust = 0.5` 将带宽减半(平滑度更低)。
- 默认核函数:"gaussian"。密度范围超出数据范围(由 `cut` 控制,默认为 3 倍带宽)。
- `n = 512`:评估点数量。增加以获得更平滑的绘图。
- `from`/`to`:显式限定评估范围。
---
## quantile
- **九种** `type` 选项(1-9)。默认 `type = 7`(R 默认,线性插值)。type 1 = 经验 CDF 的逆(SAS 默认)。类型 4-9 为连续型;1-3 为离散型。
- 默认 `na.rm = FALSE`——若存在任何 NA,则返回 NA。
- 默认 `names = TRUE`,添加 "0%"、"25%" 等名称。
---
## Distributions (gotchas across all)
All distribution functions follow the `d/p/q/r` pattern. Common non-obvious points:
- **`n` argument in `r*()` functions**: if `length(n) > 1`, uses `length(n)` as the count, not `n` itself. So `rnorm(c(1,2,3))` generates 3 values, not 1+2+3.
- `log = TRUE` / `log.p = TRUE`: compute on log scale for numerical stability in tails.
- `lower.tail = FALSE` gives survival function P(X > x) directly (more accurate than 1 - pnorm() in tails).
- **Gamma**: parameterized by `shape` and `rate` (= 1/scale). Default `rate = 1`. Specifying both `rate` and `scale` is an error.
- **Beta**: `shape1` (alpha), `shape2` (beta) — no `mean`/`sd` parameterization.
- **Poisson `dpois`**: `x` can be non-integer (returns 0 with a warning for non-integer values if `log = FALSE`).
- **Weibull**: `shape` and `scale` (no `rate`). R's parameterization: `f(x) = (shape/scale)(x/scale)^(shape-1) exp(-(x/scale)^shape)`.
- **Lognormal**: `meanlog` and `sdlog` are mean/sd of the **log**, not of the distribution itself.
- `filled.contour` 具有非标准布局——它会为颜色键创建自己的绘图区域。**不能与 `par(mfrow)` 一起使用**。添加元素需要使用 `plot.axes` 参数。
- `image`:将 z 值绘制为彩色矩形。默认颜色方案可能具有误导性;应显式设置 `col`。
- 对于 `image`,`x` 和 `y` 根据上下文指定**单元边界**或**中点**。
---
## persp
- `persp(x, y, z, theta, phi)`:`theta` = 方位角,`phi` = 极距。
- 返回一个**变换矩阵**(不可见),用于将三维投影到二维——使用 `trans3d()` 向透视图中添加点或线。
- `shade` 和 `col` 控制表面着色。`border = NA` 可移除网格线。
---
## segments / arrows / rect / polygon
- 均接受向量化坐标;根据需要进行循环复用。
- `arrows`:`code = 1`(起点有箭头),`code = 2`(终点有箭头,默认),`code = 3`(两端都有)。
- `polygon`:最后一个点自动连接到第一个点。使用 `col` 填充颜色;`border` 控制轮廓线。
- `rect(xleft, ybottom, xright, ytop)` —— 注意参数顺序与其他系统不同。
---
## dev / dev.off / dev.copy
- `dev.new()` 打开一个新设备。`dev.off()` 关闭当前设备(并对 `pdf` 等文件设备刷新输出)。
- 在最后一个打开的设备上调用 `dev.off()` 会返回到空设备。
- 使用 `dev.copy(pdf, file = "plot.pdf")` 后跟 `dev.off()` 来保存当前图形。
- `dev.list()` 返回所有打开的设备;`dev.cur()` 返回当前活动设备。
---
## pdf
- 必须调用 `dev.off()` 来完成文件写入。否则文件可能为空或损坏。
- `onefile = TRUE`(默认):单个 PDF 中包含多页。`onefile = FALSE`:每页一个文件(在文件名中使用 `%d` 进行编号)。
- 建议设置 `useDingbats = FALSE` 以避免某些 PDF 查看器和 pch 符号的问题。
- 默认尺寸:7x7 英寸。`family` 控制字体族。
---
## png / bitmap 设备
- `res` 控制 DPI(默认为 72)。用于出版时:`res = 300`,并设置适当的 `width`/`height`(以像素或英寸为单位,使用 `units = "in"`)。
- `type = "cairo"`(在支持 cairo 的系统上)比默认设置提供更好的抗锯齿效果。
- `bg = "transparent"` 设置透明背景(PNG 支持 alpha 通道)。
---
## colors / rgb / hcl / col2rgb
- `colors()` 返回所有 657 个命名颜色。`col2rgb("color")` 返回 RGB 矩阵。
- `rgb(r, g, b, alpha, maxColorValue = 255)` —— 注意 `maxColorValue` 默认值为 1,而不是 255。
- `hcl(h, c, l)`:感知均匀的颜色空间。推荐用于颜色标度。
- `adjustcolor(col, alpha.f = 0.5)`:添加透明度的简便方法。
---
## colorRamp / colorRampPalette
- `colorRamp` 返回一个将 [0,1] 映射到 RGB 矩阵的**函数**。
- `colorRampPalette` 返回一个接受 `n` 并返回 `n` 个插值颜色的**函数**。
- `space = "Lab"` 比 `"rgb"` 提供更符合感知均匀性的插值。
---
## palette / recordPlot
- `palette()` 返回当前调色板(默认 8 种颜色)。`palette("Set1")` 设置内置调色板。
- 绘图中的整数颜色索引进入调色板(循环索引)。索引 0 = 背景色。
- `recordPlot()` / `replayPlot()`:保存并恢复完整图形——设备相关且在不同会话间使用时较为脆弱。
cat(sprintf("\n%s (%d unique):\n", col, length(unique(df[[col]]))))
print(table(df[[col]], useNA = "ifany"))
}
# ── 3. 清理与转换 ─────────────────────────────────────
# 重命名列(示例)
# names(df)[names(df) == "old_name"] <- "new_name"
# 转换类型
# df$group <- as.factor(df$group)
# df$date <- as.Date(df$date, format = "%Y-%m-%d")
# 重新编码值(示例)
# df$gender <- ifelse(df$gender == 1, "Male", "Female")
# 创建新变量(示例)
# df$log_income <- log(df$income + 1)
# df$age_group <- cut(df$age,
# breaks = c(0, 25, 45, 65, Inf),
# labels = c("18-25", "26-45", "46-65", "65+"))
# 过滤行(示例)
# df <- df[df$year >= 2010, ]
# df <- df[complete.cases(df[, c("outcome", "predictor")]), ]
# 删除未使用的因子水平
# df <- droplevels(df)
# ── 4. 描述性统计 ────────────────────────────────
# 数值型变量摘要
num_cols <- names(df)[sapply(df, is.numeric)]
round(sapply(df[num_cols], function(x) c(
n = sum(!is.na(x)),
mean = mean(x, na.rm = TRUE),
sd = sd(x, na.rm = TRUE),
median = median(x, na.rm = TRUE),
min = min(x, na.rm = TRUE),
max = max(x, na.rm = TRUE)
)), 3)
# 交叉列联表
# table(df$group, df$category, useNA = "ifany")
# prop.table(table(df$group, df$category), margin = 1) # 行比例
# ── 5. 可视化(探索性数据分析) ──────────────────────────────────
par(mfrow = c(2, 2))
# 主要结果变量的直方图
hist(df$outcome_var,
main = "Distribution of Outcome",
xlab = "Outcome",
col = "steelblue",
border = "white",
breaks = 30)
# 按组绘制箱线图
boxplot(outcome_var ~ group_var,
data = df,
main = "Outcome by Group",
col = "lightyellow",
las = 2)
# 散点图
plot(df$predictor, df$outcome_var,
main = "Predictor vs Outcome",
xlab = "Predictor",
ylab = "Outcome",
pch = 19,
col = adjustcolor("steelblue", alpha.f = 0.5),
cex = 0.8)
abline(lm(outcome_var ~ predictor, data = df),
col = "red", lwd = 2)
# 相关矩阵(仅数值型列)
cor_mat <- cor(df[num_cols], use = "complete.obs")
image(cor_mat,
main = "Correlation Matrix",
col = hcl.colors(20, "RdBu", rev = TRUE))
par(mfrow = c(1, 1))
# ── 6. 分析 ───────────────────────────────────────────────
# ·· 6a. 均值比较 ··
t.test(outcome_var ~ group_var, data = df)
# ·· 6b. 线性回归 ··
fit <- lm(outcome_var ~ predictor1 + predictor2 + group_var,
data = df)
summary(fit)
confint(fit)
# 检查多重共线性(需要 car 包)
# car::vif(fit)
# 稳健标准误(需要 lmtest + sandwich 包)
# lmtest::coeftest(fit, vcov = sandwich::vcovHC(fit, type = "HC3"))
# ·· 6c. 方差分析(ANOVA) ··
# fit_aov <- aov(outcome_var ~ group_var, data = df)
# summary(fit_aov)
# TukeyHSD(fit_aov)
# ·· 6d. 逻辑回归(二分类结果变量) ··
# fit_logit <- glm(binary_outcome ~ x1 + x2,
# data = df,
# family = binomial(link = "logit"))
# summary(fit_logit)
# exp(coef(fit_logit)) # 比数比
# exp(confint(fit_logit)) # 比数比置信区间
# ── 7. 模型诊断 ─────────────────────────────────────
par(mfrow = c(2, 2))
plot(fit)
par(mfrow = c(1, 1))
# 残差正态性检验
shapiro.test(residuals(fit))
# 同方差性检验(需要 lmtest 包)
# lmtest::bptest(fit)
# ── 8. 保存输出 ────────────────────────────────────────────
# 清理后的数据
# write.csv(df, "data_clean.csv", row.names = FALSE)
# saveRDS(df, "data_clean.rds")
# 将模型结果保存到文本文件
# sink("results.txt")
# cat("=== Linear Model ===\n")
# print(summary(fit))
# cat("\n=== Confidence Intervals ===\n")
# print(confint(fit))
# sink()
# 将图表保存到文件
# png("figure1_distributions.png", width = 1200, height = 900, res = 150)
# par(mfrow = c(2, 2))
# # ... your plots ...
# par(mfrow = c(1, 1))
# dev.off()
# ============================================================
# 模板结束
# ============================================================
FILE:scripts/check_data.R
# check_data.R — 快速生成任意 R 数据框的数据质量报告
# 用法:source("check_data.R") 然后调用 check_data(df)
# 或: source("check_data.R"); check_data(read.csv("yourfile.csv"))
check_data <- function(df, top_n_levels = 8) {
if (!is.data.frame(df)) stop("输入必须是一个数据框。")
n_row <- nrow(df)
n_col <- ncol(df)
cat("══════════════════════════════════════════\n")
cat(" 数据质量报告\n")
cat("══════════════════════════════════════════\n")
cat(sprintf(" 行数: %d 列数: %d\n", n_row, n_col))
cat("══════════════════════════════════════════\n\n")
# ── 1. 列概览 ──────────────────────
cat("── 列概览 ────────────────────────\n")
for (col in names(df)) {
x <- df[[col]]
cls <- class(x)[1]
n_na <- sum(is.na(x))
pct <- round(n_na / n_row * 100, 1)
n_uniq <- length(unique(x[!is.na(x)]))
na_flag <- if (n_na == 0) "" else sprintf(" *** %d NAs (%.1f%%)", n_na, pct)
cat(sprintf(" %-20s %-12s %d unique%s\n",
col, cls, n_uniq, na_flag))
}
# ── 2. NA summary ────────────────────────────
cat("\n── NA SUMMARY ─────────────────────────────\n")
na_counts <- sapply(df, function(x) sum(is.na(x)))
cols_with_na <- na_counts[na_counts > 0]
if (length(cols_with_na) == 0) {
cat(" No missing values. \n")
} else {
cat(sprintf(" Columns with NAs: %d of %d\n\n", length(cols_with_na), n_col))
for (col in names(cols_with_na)) {
bar_len <- round(cols_with_na[col] / n_row * 20)
bar <- paste0(rep("█", bar_len), collapse = "")
pct_na <- round(cols_with_na[col] / n_row * 100, 1)
cat(sprintf(" %-20s [%-20s] %d (%.1f%%)\n",
col, bar, cols_with_na[col], pct_na))
}
}
# ── 3. Numeric columns ───────────────────────
num_cols <- names(df)[sapply(df, is.numeric)]
if (length(num_cols) > 0) {
cat("\n── NUMERIC COLUMNS ────────────────────────\n")
cat(sprintf(" %-20s %8s %8s %8s %8s %8s\n",
"Column", "Min", "Mean", "Median", "Max", "SD"))
cat(sprintf(" %-20s %8s %8s %8s %8s %8s\n",
"──────", "───", "────", "──────", "───", "──"))
for (col in num_cols) {
x <- df[[col]][!is.na(df[[col]])]
if (length(x) == 0) next
cat(sprintf(" %-20s %8.3g %8.3g %8.3g %8.3g %8.3g\n",
col,
min(x), mean(x), median(x), max(x), sd(x)))
}
}
# ── 4. Factor / character columns ───────────
cat_cols <- names(df)[sapply(df, function(x) is.factor(x) | is.character(x))]
if (length(cat_cols) > 0) {
cat("\n── CATEGORICAL COLUMNS ────────────────────\n")
for (col in cat_cols) {
x <- df[[col]]
tbl <- sort(table(x, useNA = "no"), decreasing = TRUE)
n_lv <- length(tbl)
cat(sprintf("\n %s (%d unique values)\n", col, n_lv))
show <- min(top_n_levels, n_lv)
for (i in seq_len(show)) {
lbl <- names(tbl)[i]
cnt <- tbl[i]
pct <- round(cnt / n_row * 100, 1)
cat(sprintf(" %-25s %5d (%.1f%%)\n", lbl, cnt, pct))
}
if (n_lv > top_n_levels) {
cat(sprintf(" ... and %d more levels\n", n_lv - top_n_levels))
}
}
}
# ── 5. Duplicate rows ────────────────────────
cat("\n── DUPLICATES ─────────────────────────────\n")
n_dup <- sum(duplicated(df))
if (n_dup == 0) {
cat(" No duplicate rows.\n")
} else {
cat(sprintf(" %d duplicate row(s) found (%.1f%% of data)\n",
n_dup, n_dup / n_row * 100))
}
cat("\n══════════════════════════════════════════\n")
cat(" END OF REPORT\n")
cat("══════════════════════════════════════════\n")
# Return invisibly for programmatic use
invisible(list(
dims = c(rows = n_row, cols = n_col),
na_counts = na_counts,
n_dupes = n_dup
))
}
# ── 4. 分析 ───────────────────────────────────────────────
# 按组描述性统计
tapply(df$%s, df$%s, mean, na.rm = TRUE)
tapply(df$%s, df$%s, sd, na.rm = TRUE)
# t检验(两组)
# t.test(%s ~ %s, data = df)
# 线性模型
fit <- lm(%s ~ %s, data = df)
summary(fit)
confint(fit)
# 方差分析(多组)
# fit_aov <- aov(%s ~ %s, data = df)
# summary(fit_aov)
# TukeyHSD(fit_aov)
# ── 5. 可视化结果 ──────────────────────────────────────
par(mfrow = c(1, 2))
# 按组箱线图
boxplot(%s ~ %s,
data = df,
main = "%s by %s",
xlab = "%s",
ylab = "%s",
col = "lightyellow")
# 模型诊断
plot(fit, which = 1) # 残差 vs 拟合值
par(mfrow = c(1, 1))
# ── 6. 保存输出 ────────────────────────────────────────────
# 保存清洗后的数据
# write.csv(df, "%s_clean.csv", row.names = FALSE)
# 将模型摘要保存为文本
# sink("%s_results.txt")
# summary(fit)
# sink()
# 保存图表到文件
# png("%s_boxplot.png", width = 800, height = 600, res = 150)
# boxplot(%s ~ %s, data = df, col = "lightyellow")
# dev.off()
如果你发现有遗漏的陷阱、错误的默认设置,或应该被收录在参考文献中的内容——非常欢迎提交 Pull Request。我也在不断学习中。
---
*由 [@iremaydas](https://github.com/iremaydas) 制作 — 博士候选人,偶尔使用 R 的用户,全天候搜索本该早已熟知的知识点。*可替换内容
- [1, ]
- [, 2]
- [[2]
- [df$value > 15, ]
- [1:3]
- [c(TRUE, FALSE)]
- [x > 5]
- [-1]
- [1:5, ]
- [, c("name", "value")]
- [df$value > 10, "name"]
- [i]
- [1]
- [order(df$value), ]
- [order(-df$value), ]
- [order(df$group, -df$value), ]
- [!duplicated(df), ]
- [!duplicated(df$id), ]
- [sapply(x, f)]
- [j = 2, i = 1]
- [2, 1]
- [1, 2]
- [f]
- [as.character(f)]
- [[]
- [["name"]
- [[i]
- [`:`df[, 1]
- [cbind(i,j)]
- [MARGIN]
- [order(x)]
- [0,1]
- [[col]
- [names(df) == "old_name"]
- [df$year >= 2010, ]
- [, c("outcome", "predictor")]
- [sapply(df, is.numeric)]
- [num_cols]
- [!is.na(x)]
- [na_counts > 0]
分类与标签
编程开发、编程开发、思维分析、结构化输出