事实证明问题出在我使用的lmodern软件包上。Computer Modern Typewriter 字体可以完美地将插入符号复制到终端。
\documentclass[convert]{standalone}
\begin{document}
Latin Modern Typewriter (too small): {\fontfamily{lmtt}\selectfont\^{}},
Computer Modern Typewriter (just right): {\fontfamily{cmtt}\selectfont\^{}}
\end{document}