行列 A が直交行列であるためには、ATA=I (I は単位行列)となる必要があります。問題文には ATA の計算結果が与えられており、 ATA=600020003 となっています。
ATA は単位行列ではないので、A は直交行列ではありません。 問題文の (1), (2), (3) に入るべき値はそれぞれ6, 2, 3です。
B=(6p,2q,3r) の列ベクトルをそれぞれ b1=6p, b2=2q, b3=3r とします。 行列 B が直交行列であるためには、各列ベクトルが互いに直交し、かつノルムが1である必要があります。つまり、 bi⋅bj=δij ここで δij はクロネッカーのデルタで、i=j のとき 1, i=j のとき 0 となる関数です。 b1⋅b1=6p⋅p=612+22+12=66=1 b2⋅b2=2q⋅q=212+02+(−1)2=22=1 b3⋅b3=3r⋅r=312+(−1)2+12=33=1 b1⋅b2=62p⋅q=121⋅1+2⋅0+1⋅(−1)=120=0 b1⋅b3=63p⋅r=181⋅1+2⋅(−1)+1⋅1=180=0 b2⋅b3=23q⋅r=61⋅1+0⋅(−1)+(−1)⋅1=60=0