まず、(f∘f)(x) を計算します。 f(f(x))=f(x+a3x+2)=(x+a3x+2)+a3(x+a3x+2)+2 分母分子に (x+a) をかけると、 f(f(x))=3x+2+a(x+a)3(3x+2)+2(x+a)=3x+2+ax+a29x+6+2x+2a=(3+a)x+2+a211x+6+2a (f∘f)(x)=f(x) より、 (3+a)x+2+a211x+6+2a=x+a3x+2 両辺の分子と分母をそれぞれ比較します。ただし、比率が同じになる場合も考慮します。
(3+a)x+2+a211x+6+2a=k⋅x+a3x+2 となる定数kが存在すると仮定して、比較してみます。 分母を比較して、k=3+aと仮定してみると (3+a)(x+a)=(3+a)x+2+a2 となるので、3a+a2=2+a2, 3a=2, a=32 分子を比較すると11=k⋅3,6+2a=k⋅2となり、 11=(3+a)⋅3, 6+2a=(3+a)⋅2 11=9+3a, 6+2a=6+2a 2=3a, a=32 または、f(x)=xとなる場合を考えます。 x+a3x+2=x 3x+2=x(x+a) 3x+2=x2+ax x2+(a−3)x−2=0 任意の x に対してこの式が成り立つためには、x2,x の係数および定数項がすべて0でなければならないが、定数項が-2であるため、f(x)=xとなることはありません。 f(x)=x−23x+2 f(f(x))=(3+(−2))x+2+(−2)211x+6+2(−2)=x+611x+2 これは f(x) とは一致しないので、a=−2です。 もし、f(x)が恒等写像ならば、a=−1となる。 x−13x+2=x しかしこれは恒等写像とならないため、これも誤りです。
a=−1のとき,f(x)=x−13x+2。これは恒等写像にはならない。 次に、f(f(x))=f(x) が成り立つための条件を探します。 (3+a)x+2+a211x+6+2a=x+a3x+2 (11x+6+2a)(x+a)=(3x+2)((3+a)x+2+a2) 11x2+11ax+6x+6a+2ax+2a2=9x2+3ax+6x+4+3ax2+a3x+2ax+2a2 11x2+(13a+6)x+6a+2a2=(9+3a)x2+(6a+6+a3)x+4+2a2 11=9+3a, 13a+6=6a+6+a3, 6a+2a2=4+2a2 3a=2, 7a=a3, 6a=4 a=32, a2=7, a=32