三角形PABの面積Sは、三角形OABの面積に、点Pから直線ABまでの距離を足したもので決まる。三角形OABは固定なので、点Pから直線ABまでの距離が最大になるように点Pを取れば、三角形PABの面積Sが最大となる。
直線ABと平行で、Oを中心とする半径1の円に接する直線を考える。その接点が点Pの位置となる。
まず、AB=OB−OA=b−aである。 直線ABの方向ベクトルはb−aであるから、これと垂直なベクトルをnとすると、n⋅(b−a)=0となる。 nは直線ABに垂直なベクトルであり、このベクトルがOから直線ABまでの距離に最も近づく時、点Pとなる。つまり、点Pは、OP=kn (kは実数) の形であり、かつ∣OP∣=1を満たす。 nを求めるために、n=xa+ybとおくと、(xa+yb)⋅(b−a)=0 x(a⋅b−∣a∣2)+y(∣b∣2−a⋅b)=0 a⋅b=∣a∣∣b∣cos3π=3⋅2⋅21=3 x(3−9)+y(4−3)=0 −6x+y=0 n=xa+6xb=x(a+6b) OPはnと同じ方向の単位ベクトルであるから、 OP=∣a+6b∣a+6b ∣a+6b∣2=∣a∣2+12(a⋅b)+36∣b∣2=9+12(3)+36(4)=9+36+144=189 ∣a+6b∣=189=321 OP=321a+6b