まず、x について整理して因数分解を試みます。 \begin{align*}
3x^2 + 2xy - y^2 - 11x + y + 6 &= 3x^2 + (2y - 11)x - (y^2 - y - 6) \\
&= 3x^2 + (2y - 11)x - (y - 3)(y + 2)
\end{align*}
次に、3x2+(2y−11)x−(y−3)(y+2) を (3x+ay+b)(x+cy+d) の形に因数分解できると仮定して、係数を比較します。 (3x+ay+b)(x+cy+d)=3x2+(3c+a)xy+acy2+(3d+b)x+(ad+bc)y+bd 係数を比較すると、
\begin{align*}
3c + a &= 2 \\
ac &= -1 \\
3d + b &= -11 \\
ad + bc &= 1 \\
bd &= 6
\end{align*}
ac=−1 より、a=1、c=−1 または a=−1、c=1 が考えられます。 (i) a=1、c=−1 のとき、3c+a=−3+1=−2 となり、3c+a=2 を満たしません。 (ii) a=−1、c=1 のとき、3c+a=3−1=2 となり、3c+a=2 を満たします。 よって、a=−1、c=1 です。 ad+bc=−d+b=1 より、b=d+1 です。 3d+b=3d+d+1=4d+1=−11 より、4d=−12 なので、d=−3 です。 b=d+1=−3+1=−2 です。 bd=(−2)(−3)=6 なので、bd=6 を満たします。 したがって、因数分解の結果は
3x2+2xy−y2−11x+y+6=(3x−y−2)(x+y−3) となります。