\documentclass{ctexart}
\usepackage{amsmath}
\everymath{\displaystyle}
\begin{document}
设连续型随机变量$X$具有概率密度$f_{X}(x),\ -\infty < x < +\infty$,函数$g(x)$处处可导, 且恒有$g'(x) > 0$(或$g'(x) < 0$),则$Y = g(X)$是一个连续型随机变量, 且概率密度为
\begin{align*}
f_{Y}(y) =
\begin{cases}
f_{X}[h(y)]|h'(y)|, &\alpha < y < \beta \\
0, &\text{其他}
\end{cases}
\end{align*}
\end{document}
第1个问题:可使用relsize宏包的mathsmaller命令;
第2个问题:可使用mathtools宏包的dcases环境。
\documentclass{ctexart}
\usepackage{amsmath}
\everymath{\displaystyle}
\usepackage{relsize}%相对字体尺寸宏包
\usepackage{mathtools}
\begin{document}
$f_{\mathsmaller{X}}(x)$
$f_{X}(x)$
\begin{align*}
f_{Y}(y) =
\begin{dcases}%\usepackage{mathtools}
f_{X}[h(y)]|h'(y)|, &\alpha < y < \beta \\
0, &\text{其他}
\end{dcases}
\end{align*}
\begin{align*}
f_{Y}(y) =
\begin{cases}
f_{X}[h(y)]|h'(y)|, &\alpha < y < \beta \\
0, &\text{其他}
\end{cases}
\end{align*}
\end{document}
谢谢大佬