この問題のポイント
合成関数は、定義域に含まれているほうの関数を、含んでいる関数に代入した形！
（１）〈指針〉
不等式の証明で定番なのは、（左辺）＞（右辺）なら（左辺）-（右辺）＞0、（左辺）＜（右辺）なら（右辺）-（左辺）＞0が成り立つことを証明するというやりかたです。この方法が使えないかを（左辺）-（右辺）や（右辺）-（左辺）を計算しながら考えましょう。
この問題では\( -1＜f_q(x) \)と\( f_q(x)＜1 \)の両方が成り立つことを証明しないといけません。ただ、この関数で使われている$q$や$x$は-1より大きく1より小さいので、1との差（$1-q$や$x-1$など）は正の数になります。これをいかした因数分解をして証明しましょう。
〈証明〉
\begin{eqnarray} &&f_q(x)-(-1)\\ &&\displaystyle = \frac{x-q}{1-qx}+1\\ &&\displaystyle = \frac{x-q}{1-qx}+\frac{1-qx}{1-qx}\\ &&\displaystyle = \frac{x-q+1-qx}{1-qx}\\ &&\displaystyle = \frac{1-q+x(1-q)}{1-qx}\\ &&\displaystyle = \frac{(1-q)(x+1)}{1-qx}\\ \end{eqnarray}
ここで、\( -1＜x＜1 \)，\( -1＜q＜1 \)より、\( 1-q＞0 \)，\( x+1＞0 \)であり、しかも$qx$は1以上になりえないので、\( \displaystyle \frac{(1-q)(x+1)}{1-qx}＞0 \)
これより、\( -1＜f_q(x) \)
\begin{eqnarray} &&1-f_q(x)\\ &&\displaystyle = 1-\frac{x-q}{1-qx}\\ &&\displaystyle = \frac{1-qx}{1-qx}-\frac{x-q}{1-qx}\\ &&\displaystyle = \frac{1-qx-x+q}{1-qx}\\ &&\displaystyle = \frac{1-x+q(1-x)}{1-qx}\\ &&\displaystyle = \frac{(1-x)(1+q)}{1-qx}\\ \end{eqnarray}
\( -1＜x＜1 \)，\( -1＜q＜1 \)より、\( \displaystyle \frac{(1-x)(1+q)}{1-qx}＞0 \)
よって、\( f_q(x)＜1 \)
以上より、\( -1＜f_q(x)＜1 \)
解答のチェックポイント
- \( -1＜f_q(x) \)と\( f_q(x)＜1 \)に分けてそれぞれを証明を進めているか
- 因数分解などをおこなって式変形し、\( -1＜x＜1 \)，\( -1＜q＜1 \)という条件を利用して、変形した後の式が正の数であることを示しているか
（２）$f_p(f_q(x))$という関数に関数が組み合わさった形になっています。このような合成関数は、変数（$x$や$y$など値を入れることができる文字）のところに関数を代入して計算していくこととなります。この問題の場合なら、このようになります。
\begin{eqnarray} &&f_p(f_q(x))\\ &&\displaystyle = \frac{f_q(x)-p}{1-pf_q(x)}\\ &&\displaystyle = \frac{\displaystyle\frac{x-q}{1-qx}-p}{1-p・\displaystyle\frac{x-q}{1-qx}}\\ &&\displaystyle = \frac{\displaystyle\frac{x-q-p(1-qx)}{1-qx}}{\displaystyle\frac{(1-p)(x-q)}{1-qx}} \end{eqnarray}
分母と分子それぞれに$1-qx$をかけると、
\begin{eqnarray} &&\displaystyle \frac{x-q-p+pqx}{1-qx-px+pq}\\ &&\displaystyle = \frac{(1+pq)x-(p+q)}{(1+pq)-(p+q)x} \end{eqnarray}
ここで、\( -1＜p＜1 \)，\( -1＜q＜1 \)より、\( pq \neq -1 \)であり、\( 1+pq \neq 0 \)なので、分母と分子それぞれを\( 1+pq \)で割ると、
\( \displaystyle \frac{x-\displaystyle\frac{p+q}{1+pq}}{1-\displaystyle\frac{p+q}{1+pq}x} \)となります。
これより、\( \displaystyle r = \frac{p+q}{1+pq} \)です。このように、合成関数が関係したハイレベルな問題では、もとの関数に似せた形や問題文に示された形に変形して考えることが求められるものがあります。
さて、あとは\( -1＜r＜1 \)の証明ですが、これは（１）の証明と同じ方法を使うとよいでしょう。
\begin{eqnarray} &&r-(-1)\\ &&\displaystyle = \frac{p+q}{1+pq}+1\\ &&\displaystyle = \frac{p+q}{1+pq}+\frac{1+pq}{1+pq}\\ &&\displaystyle = \frac{p+q+1+pq}{1+pq}\\ &&\displaystyle = \frac{(1+p)(1+q)}{1+pq}＞0 \end{eqnarray}
\begin{eqnarray} &&1-r\\ &&\displaystyle = 1-\frac{p+q}{1+pq}\\ &&\displaystyle = \frac{1+pq}{1+pq}-\frac{p+q}{1+pq}\\ &&\displaystyle = \frac{1+pq-p-q}{1+pq}\\ &&\displaystyle = \frac{(1-p)(1-q)}{1+pq}＞0 \end{eqnarray}
よって、\( -1＜r＜1 \)
（３）さっきの（２）の問題文にて\( \displaystyle f_p(f_q(x)) = \frac{x-r}{1-rx} \)とあったのでこれを利用すると、\( f_p(f_q(x)) = f_q(x) \)のとき、
\( \displaystyle \frac{x-r}{1-rx} = \frac{x-q}{1-qx} \)
\( (x-r)(1-qx) = (x-q)(1-rx) \)
\( x-qx^2-r+qrx = x-rx^2-q+qrx \)
\( (r-q)x^2-(r-q) = 0 \)
これが$x$についての恒等式となるので、$r-q = 0$、すなわち$r = q$です。（２）にて、$r$を$p$と$q$を用いて表した形を求めましたから、それを利用するとこうなります。
\begin{eqnarray} &&\displaystyle \frac{p+q}{1+pq} = q\\ &&p+q = q(1+pq)\\ &&p+q = q+pq^2\\ &&p(1-q^2) = 0 \end{eqnarray}
ただ、\( 1-q^2 = 0 \)だと、\( q^2 = 1 \)より、\( q = ±1 \)となり、\( -1＜q＜1 \)に矛盾します。よって、\( 1-q^2 \neq 0 \)なので、$p = 0$となります。
答え．
（１）
（上の〈証明〉参照）
（２）
\( \displaystyle r = \frac{p+q}{1+pq} \)
（\( -1＜r＜1 \)の証明は上の解説参照）
（３）
$p = 0$