fração dentro da fração
Embora o uso de \ frac me dê caracteres menores, \ cfrac quase consegue o que desejo, exceto que há um espaço bem grande acima do denumerador.
Eu sigo isso, mas agora sem o$\displaystyle$ porque eu não faço onde devo usar isso.
\begin{equation}
\frac{v_{out}}{i_{in}} = \cfrac{R_{D}} {\left(\cfrac{s}{\cfrac{1}{C_{o}R_{D}}} + 1 \right)
\left( \cfrac{s}{\cfrac{g_{m}r_{o} + 1}{C_{PD}(R_{D} + r_{0})}} + 1 \right) }
\end{equation}

Respostas
Uma possível solução:
\documentclass[varwidth, margin=3.141592]{standalone}
\usepackage{amsmath}
\begin{document}
\begin{equation}
\frac{v_{out}}{i_{in}}
= \dfrac{R_{D}}{
\begin{pmatrix}
\cfrac{s}{\cfrac{1}{C_{o}R_{D}} + 1}\\
\end{pmatrix}
\begin{pmatrix}
\cfrac{s}{\cfrac{g_{m}r_{o} + 1}{C_{PD}(R_{D} + r_{0})} + 1}\\
\end{pmatrix}
}
\end{equation}
\end{document}

Usar em \dfrac
vez de \cfrac
pareceria perfeitamente adequado.
Combinar essa ideia com a sugestão de @ Zarko de encerrar os termos da grande fração em pmatrix
ambientes em vez de em \left(
e \right
wrappers gera os seguintes resultados:

A \cfrac
macro insere a \strut
, que tem uma altura total de \baselineskip
, tanto no numerador quanto no denominador. Em contraste, \dfrac
não insere struts (tipográficos) por padrão. No caso presente, a influência da presença das escoras em \cfrac
é particularmente notável na quantidade de espaços em branco que está presente acima dos s
termos do numerador.
\documentclass{article}
\usepackage{amsmath} % for '\dfrac', '\cfrac', and '\text' macros
\begin{document}
\[
\cfrac{\text{with \texttt{\string\cfrac}}}{%
\begin{pmatrix}
\cfrac{s}{\cfrac{1}{C_{o}R_{D}} + 1}
\end{pmatrix}
\begin{pmatrix}
\cfrac{s}{\cfrac{g_{m}r_{o} + 1}{C_{PD}(R_{D} + r_{0})} + 1}
\end{pmatrix}
}
\quad\text{vs.}\quad
\dfrac{\text{with \texttt{\string\dfrac}}}{%
\begin{pmatrix}
\dfrac{s}{\dfrac{1}{C_{o}R_{D}} + 1}
\end{pmatrix}
\begin{pmatrix}
\dfrac{s}{\dfrac{g_{m}r_{o} + 1}{C_{PD}(R_{D} + r_{0})} + 1}
\end{pmatrix}
}
\]
\end{document}
Esse tipo de pergunta é o que vejo freqüentemente aparecendo no site: como faço para escrever esta expressão "feia" / complicada em LaTeX? Normalmente, você pode fazer como a outra resposta ou pode tentar dividir a expressão usando palavras.
Eu tendo a preferir dividir expressões complicadas como mostrado abaixo.


\documentclass{article}
\usepackage{amsmath}
\begin{document}
\noindent
The ratio is given as
%
\begin{equation}
\frac{v_{\text{out}}}{i_{\text{in}}}
= \frac{R_D}{f(\alpha) \cdot f(\beta)}
\end{equation}
%
where
%
\begin{equation*}
f(x) = \frac{s}{x + 1}, \quad
\alpha = \frac{1}{C_o R_D} \quad \text{and} \quad
\beta = \cfrac{g_{m}r_{o} + 1}{C_{PD}(R_{D} + r_{0})}.
\end{equation*}
%
Let $f(x)=s/(x+1)$, then the ratio
$v_{\text{out}}/i_{\text{in}}$ is defined as
%
\begin{equation*}
\frac{v_{\text{out}}}{i_{\text{in}}}
= R_D\biggl/\biggl[ f\biggl(\frac{1}{C_o R_D}\biggr)f\biggl(\frac{g_{m}r_{o} + 1}{C_{PD}(R_{D} + r_{0})}\biggr)\biggr].
\end{equation*}
\end{document}