△PAB の面積 S は、底辺 AB が固定されているので、高さが最大になるときに最大になる。 高さは、点Pから直線ABへの距離である。
円の中心Oから直線ABに下ろした垂線の足をHとすると、PがHから最も遠い位置にあるとき、△PAB の面積が最大となる。 つまり、OP は、OH と平行で、OH と同じ向きの単位ベクトルになる。 OH=sa+tb (s, t は実数)とおく。 OH⊥AB より、(a−b)⋅(sa+tb)=0 である。 s∣a∣2+(s+t)a⋅b+t∣b∣2=0 a⋅b=∣a∣∣b∣cos3π=3⋅2⋅21=3 よって、9s+3(s+t)+4t=0 12s+7t=0 t=−712s OH=sa−712sb=s(a−712b) OP=∣OH∣OH であり、∣OP∣=1 である。 OP=k(a−712b) (k > 0)とおく。 ∣OP∣2=k2∣a−712b∣2=1 ∣a−712b∣2=∣a∣2−724a⋅b+49144∣b∣2=9−724⋅3+49144⋅4=9−772+49576=49441−504+576=49513 k249513=1 k=51349=5137=3577 OP=3577(a−712b)=3577a−574b OP=3571(7a−12b) OP の方向を計算する過程で、∣OH∣ が最小になる可能性があるので、計算が間違っているか、または、図形的な考察が必要となる。 直線ABと点Oとの距離が短い場合は、OHの延長上にPがあるとは限らない。 線分ABを底辺としたときの高さが最大となる点Pは、円の中心Oから直線ABに下ろした垂線と円との交点のうち、ABから遠いほうの点である。