まず
$\displaystyle \vec{\mathrm{P}\mathrm{A}}\cdot\vec{\mathrm{P}\mathrm{B}}=\frac{5}{4}$①
の式を何とかしよう。

図Ａより、
$\vec{\mathrm{P}\mathrm{A}}=\vec{a}-\vec{p}$
$\vec{\mathrm{P}\mathrm{B}}=\vec{b}-\vec{p}$
なので、①は
$(\displaystyle \vec{a}-\vec{p})\cdot(\vec{b}-\vec{p})=\frac{5}{4}$
$\displaystyle \vec{p}\cdot\vec{p}-\vec{a}\cdot\vec{p}-\vec{b}\cdot\vec{p}+\vec{a}\cdot\vec{b}=\frac{5}{4}$
$\vec{\mathrm{A}}\cdot\vec{\mathrm{A}}=\left|\vec{\mathrm{A}}\right|^{2}$なので、
$\displaystyle \left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+\vec{a}\cdot\vec{b}=\frac{5}{4}$式Ａ
とかける。

ここで、図Ａより、
$\vec{a}\cdot\vec{b}=\left|\vec{a}\right|\cdot\left|\vec{b}\right|\cdot\cos 60^{\circ}$
$\displaystyle \vec{a}\cdot\vec{b}$$\displaystyle =2\cdot 3\cdot\frac{1}{2}$
$\vec{a}\cdot\vec{b}$$=3$

解答ア：３

これを式Ａに代入して、
$\displaystyle \left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+3=\frac{5}{4}$
$\displaystyle \left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+\frac{7}{4}=0$式Ａ'
となる。

解答イ：７, ウ：４

イウからエオは、あんまり見ない変形だけど、実はほかの単元でさんざんやってることだ。
式Ａ'を平方完成して、
$\displaystyle \left|\vec{p}\right|^{2}-2\cdot\frac{\vec{a}+\vec{b}}{2}\cdot\vec{p}+\left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}$
       $-\displaystyle \left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}+\frac{7}{4}=0$
$\displaystyle \left|\vec{p}-\frac{\vec{a}+\vec{b}}{2}\right|^{2}-\left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}+\frac{7}{4}=0$
$\displaystyle \left|\vec{p}-\frac{\vec{a}+\vec{b}}{2}\right|^{2}=\left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}-\frac{7}{4}$式Ｂ

ここで、式Ｂの$\left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}$の部分を考えてみよう。
$\displaystyle \left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}=\frac{1}{4}\left(\left|\vec{a}\right|^{2}+2\vec{a}\cdot\vec{b}+\left|\vec{b}\right|^{2}\right)$
$\displaystyle \left|\vec{a}+\vec{b}\right|^{2}$$\displaystyle =\frac{1}{4}(2^{2}+2\cdot 3+3^{2})$
$\displaystyle \left|\vec{a}+\vec{b}\right|^{2}$$\displaystyle =\frac{19}{4}$
だから、式Ｂは
$\displaystyle \left|\vec{p}-\frac{\vec{a}+\vec{b}}{2}\right|^{2}=\frac{19}{4}-\frac{7}{4}$
$\left|\vec{p}-\vec{a}+\vec{b}\right|^{2}$$=3$
とかける。

これを、両辺平方根をとって、
$\left|\vec{p}-\frac{\vec{a}+\vec{b}}{2}\right|=\sqrt{3}$
と変形できる。

解答エ：２, オ：３

ここまでで分かったことを図Ａに書きたしたのが、図Ｂである。

図Ｂで、
$\vec{\mathrm{O}\mathrm{C}}$⊥$\vec{\mathrm{M}\mathrm{H}}$なので、
$\vec{\mathrm{O}\mathrm{C}}\cdot\vec{\mathrm{M}\mathrm{H}}=0$式Ｃ

解答カ：０

問題文の指示通り$\vec{\mathrm{O}\mathrm{H}}=t\vec{\mathrm{O}\mathrm{C}}$とおくと、
$\vec{\mathrm{M}\mathrm{H}}=\vec{\mathrm{O}\mathrm{H}}-\vec{\mathrm{O}\mathrm{M}}$なので、
$\displaystyle \vec{\mathrm{M}\mathrm{H}}=t\vec{\mathrm{O}\mathrm{C}}-\frac{\vec{a}+\vec{b}}{2}$式Ｄ
これを式Ｃに代入して、
$\vec{\mathrm{O}\mathrm{C}}\cdot\left(t\vec{\mathrm{O}\mathrm{C}}-\frac{\vec{a}+\vec{b}}{2}\right)=0$
$t\displaystyle \left|\vec{\mathrm{O}\mathrm{C}}\right|^{2}-\frac{\vec{a}\cdot\vec{\mathrm{O}\mathrm{C}}+\vec{b}\cdot\vec{\mathrm{O}\mathrm{C}}}{2}=0$式Ｅ

ここで、
$\vec{a}\cdot\vec{\mathrm{O}\mathrm{C}}=\left|\vec{a}\right|\cdot\left|\vec{\mathrm{O}\mathrm{C}}\right|\cdot\cos\angle 120^{\circ}$
$\vec{a}\cdot\vec{\mathrm{O}\mathrm{C}}$$=2\cdot 1\cdot\left(-\frac{1}{2}\right)$
$\vec{a}\cdot\vec{\mathrm{O}\mathrm{C}}$$=-1$
$\vec{b}\cdot\vec{\mathrm{O}\mathrm{C}}=\left|\vec{b}\right|\cdot\left|\vec{\mathrm{O}\mathrm{C}}\right|\cdot\cos\angle 60^{\circ}$
$\vec{b}\cdot\vec{\mathrm{O}\mathrm{C}}$$=3\cdot 1\cdot\left(\frac{1}{2}\right)$
$\displaystyle \vec{b}\cdot\vec{\mathrm{O}\mathrm{C}}$$\displaystyle =\frac{3}{2}$
なので、式Ｅは
$t-\displaystyle \frac{1}{2}\left(-1+\frac{3}{2}\right)=0$
とかける。

よって、
$t=\displaystyle \frac{1}{2}\left(-1+\frac{3}{2}\right)$
$t\displaystyle $$\displaystyle =\frac{1}{4}$
である。

解答キ：１, ク：４

次に$\left|\vec{\mathrm{M}\mathrm{H}}\right|$を求める。
式Ｄに$t=\displaystyle \frac{1}{4}$を代入して、
$\displaystyle \vec{\mathrm{M}\mathrm{H}}=\frac{1}{4}\vec{\mathrm{O}\mathrm{C}}-\frac{\vec{a}+\vec{b}}{2}$
$\displaystyle \vec{\mathrm{M}\mathrm{H}}$$\displaystyle =\frac{1}{4}(\vec{\mathrm{O}\mathrm{C}}-2\vec{a}-2\vec{b})$
となるので、
$\displaystyle \left|\vec{\mathrm{M}\mathrm{H}}\right|^{2}=\frac{1}{4^{2}}(\vec{\mathrm{O}\mathrm{C}}-2\vec{a}-2\vec{b})\cdot(\vec{\mathrm{O}\mathrm{C}}-2\vec{a}-2\vec{b})$
$\displaystyle \left|\vec{\mathrm{M}\mathrm{H}}\right|^{2}$$\displaystyle =\frac{1}{4^{2}}\left(\left|\vec{\mathrm{O}\mathrm{C}}\right|^{2}-4\vec{a}\cdot\vec{\mathrm{O}\mathrm{C}}+4\left|\vec{a}\right|^{2}\right.$
                    $\left.+8\vec{a}\cdot\vec{b}+4\left|\vec{b}\right|^{2}-4\vec{b}\cdot\vec{\mathrm{O}\mathrm{C}}\right)$
$\displaystyle \left|\vec{\mathrm{M}\mathrm{H}}\right|^{2}$$\displaystyle =\frac{1}{4^{2}}\left\{1^{2}-4\cdot(-1)+4\cdot 2^{2}\right.$
                    $+8\cdot 3+4\cdot 3^{2}-4\cdot\frac{3}{2}\}$
$\displaystyle \left|\vec{\mathrm{M}\mathrm{H}}\right|^{2}$$\displaystyle =\frac{75}{4^{2}}$
より、
$\displaystyle \left|\vec{\mathrm{M}\mathrm{H}}\right|=\frac{\sqrt{75}}{4}$
$\displaystyle \left|\vec{\mathrm{M}\mathrm{H}}\right|$$\displaystyle =\frac{5\sqrt{3}}{4}$
である。

解答ケ：５, コ：３, サ：４