まず
${\displaystyle \overrightarrow{\mathrm{PA}}\cdot \overrightarrow{\mathrm{PB}}=\frac{5}{4}}$①
の式を何とかしよう。

図Ａより、
$\overrightarrow{\mathrm{PA}}=\overrightarrow{a}-\overrightarrow{p}$
$\overrightarrow{\mathrm{PB}}=\overrightarrow{b}-\overrightarrow{p}$
なので、①は
$({\displaystyle \overrightarrow{a}-\overrightarrow{p})\cdot (\overrightarrow{b}-\overrightarrow{p})=\frac{5}{4}}$
${\displaystyle \overrightarrow{p}\cdot \overrightarrow{p}-\overrightarrow{a}\cdot \overrightarrow{p}-\overrightarrow{b}\cdot \overrightarrow{p}+\overrightarrow{a}\cdot \overrightarrow{b}=\frac{5}{4}}$
$\overrightarrow{\mathrm{A}}\cdot \overrightarrow{\mathrm{A}}={\left|\overrightarrow{\mathrm{A}}\right|}^2$なので、
${\displaystyle {\left|\overrightarrow{p}\right|}^2-(\overrightarrow{a}+\overrightarrow{b})\cdot \overrightarrow{p}+\overrightarrow{a}\cdot \overrightarrow{b}=\frac{5}{4}}$式Ａ
とかける。

ここで、図Ａより、
$\overrightarrow{a}\cdot \overrightarrow{b}=\left|\overrightarrow{a}\right|\cdot \left|\overrightarrow{b}\right|\cdot \cos {60}^{\circ }$
${\displaystyle \overrightarrow{a}\cdot \overrightarrow{b}}$${\displaystyle =2\cdot 3\cdot \frac{1}{2}}$
$\overrightarrow{a}\cdot \overrightarrow{b}$$=3$

解答ア：３

これを式Ａに代入して、
${\displaystyle {\left|\overrightarrow{p}\right|}^2-(\overrightarrow{a}+\overrightarrow{b})\cdot \overrightarrow{p}+3=\frac{5}{4}}$
${\displaystyle {\left|\overrightarrow{p}\right|}^2-(\overrightarrow{a}+\overrightarrow{b})\cdot \overrightarrow{p}+\frac{7}{4}=0}$式Ａ'
となる。

解答イ：７, ウ：４

イウからエオは、あんまり見ない変形だけど、実はほかの単元でさんざんやってることだ。
式Ａ'を平方完成して、
${\displaystyle {\left|\overrightarrow{p}\right|}^2-2\cdot \frac{\overrightarrow{a}+\overrightarrow{b}}{2}\cdot \overrightarrow{p}+{\left|\frac{\overrightarrow{a}+\overrightarrow{b}}{2}\right|}^2}$
       $-{\displaystyle {\left|\frac{\overrightarrow{a}+\overrightarrow{b}}{2}\right|}^2+\frac{7}{4}=0}$
${\displaystyle {|\overrightarrow{p}-\frac{\overrightarrow{a}+\overrightarrow{b}}{2}|}^2-{\left|\frac{\overrightarrow{a}+\overrightarrow{b}}{2}\right|}^2+\frac{7}{4}=0}$
${\displaystyle {|\overrightarrow{p}-\frac{\overrightarrow{a}+\overrightarrow{b}}{2}|}^2={\left|\frac{\overrightarrow{a}+\overrightarrow{b}}{2}\right|}^2-\frac{7}{4}}$式Ｂ

ここで、式Ｂの${\left|\frac{\overrightarrow{a}+\overrightarrow{b}}{2}\right|}^2$の部分を考えてみよう。
${\displaystyle {\left|\frac{\overrightarrow{a}+\overrightarrow{b}}{2}\right|}^2=\frac{1}{4}({\left|\overrightarrow{a}\right|}^2+2\overrightarrow{a}\cdot \overrightarrow{b}+{\left|\overrightarrow{b}\right|}^2)}$
${\displaystyle {|\overrightarrow{a}+\overrightarrow{b}|}^2}$${\displaystyle =\frac{1}{4}(2^2+2\cdot 3+3^2)}$
${\displaystyle {|\overrightarrow{a}+\overrightarrow{b}|}^2}$${\displaystyle =\frac{19}{4}}$
だから、式Ｂは
${\displaystyle {|\overrightarrow{p}-\frac{\overrightarrow{a}+\overrightarrow{b}}{2}|}^2=\frac{19}{4}-\frac{7}{4}}$
${|\overrightarrow{p}-\overrightarrow{a}+\overrightarrow{b}|}^2$$=3$
とかける。

これを、両辺平方根をとって、
$|\overrightarrow{p}-\frac{\overrightarrow{a}+\overrightarrow{b}}{2}|=\sqrt{3}$
と変形できる。

解答エ：２, オ：３

ここまでで分かったことを図Ａに書きたしたのが、図Ｂである。

図Ｂで、
$\overrightarrow{\mathrm{OC}}$⊥$\overrightarrow{\mathrm{MH}}$なので、
$\overrightarrow{\mathrm{OC}}\cdot \overrightarrow{\mathrm{MH}}=0$式Ｃ

解答カ：０

問題文の指示通り$\overrightarrow{\mathrm{OH}}=t\overrightarrow{\mathrm{OC}}$とおくと、
$\overrightarrow{\mathrm{MH}}=\overrightarrow{\mathrm{OH}}-\overrightarrow{\mathrm{OM}}$なので、
${\displaystyle \overrightarrow{\mathrm{MH}}=t\overrightarrow{\mathrm{OC}}-\frac{\overrightarrow{a}+\overrightarrow{b}}{2}}$式Ｄ
これを式Ｃに代入して、
$\overrightarrow{\mathrm{OC}}\cdot (t\overrightarrow{\mathrm{OC}}-\frac{\overrightarrow{a}+\overrightarrow{b}}{2})=0$
$t{\displaystyle {\left|\overrightarrow{\mathrm{OC}}\right|}^2-\frac{\overrightarrow{a}\cdot \overrightarrow{\mathrm{OC}}+\overrightarrow{b}\cdot \overrightarrow{\mathrm{OC}}}{2}=0}$式Ｅ

ここで、
$\overrightarrow{a}\cdot \overrightarrow{\mathrm{OC}}=\left|\overrightarrow{a}\right|\cdot \left|\overrightarrow{\mathrm{OC}}\right|\cdot \cos \mathrm{\angle }{120}^{\circ }$
$\overrightarrow{a}\cdot \overrightarrow{\mathrm{OC}}$$=2\cdot 1\cdot (-\frac{1}{2})$
$\overrightarrow{a}\cdot \overrightarrow{\mathrm{OC}}$$=-1$
$\overrightarrow{b}\cdot \overrightarrow{\mathrm{OC}}=\left|\overrightarrow{b}\right|\cdot \left|\overrightarrow{\mathrm{OC}}\right|\cdot \cos \mathrm{\angle }{60}^{\circ }$
$\overrightarrow{b}\cdot \overrightarrow{\mathrm{OC}}$$=3\cdot 1\cdot \left(\frac{1}{2}\right)$
${\displaystyle \overrightarrow{b}\cdot \overrightarrow{\mathrm{OC}}}$${\displaystyle =\frac{3}{2}}$
なので、式Ｅは
$t-{\displaystyle \frac{1}{2}(-1+\frac{3}{2})=0}$
とかける。

よって、
$t={\displaystyle \frac{1}{2}(-1+\frac{3}{2})}$
$t{\displaystyle }$${\displaystyle =\frac{1}{4}}$
である。

解答キ：１, ク：４

次に$\left|\overrightarrow{\mathrm{MH}}\right|$を求める。
式Ｄに$t={\displaystyle \frac{1}{4}}$を代入して、
${\displaystyle \overrightarrow{\mathrm{MH}}=\frac{1}{4}\overrightarrow{\mathrm{OC}}-\frac{\overrightarrow{a}+\overrightarrow{b}}{2}}$
${\displaystyle \overrightarrow{\mathrm{MH}}}$${\displaystyle =\frac{1}{4}(\overrightarrow{\mathrm{OC}}-2\overrightarrow{a}-2\overrightarrow{b})}$
となるので、
${\displaystyle {\left|\overrightarrow{\mathrm{MH}}\right|}^2=\frac{1}{4^2}(\overrightarrow{\mathrm{OC}}-2\overrightarrow{a}-2\overrightarrow{b})\cdot (\overrightarrow{\mathrm{OC}}-2\overrightarrow{a}-2\overrightarrow{b})}$
${\displaystyle {\left|\overrightarrow{\mathrm{MH}}\right|}^2}$${\displaystyle =\frac{1}{4^2}({\left|\overrightarrow{\mathrm{OC}}\right|}^2-4\overrightarrow{a}\cdot \overrightarrow{\mathrm{OC}}+4{\left|\overrightarrow{a}\right|}^2}$
                    $+8\overrightarrow{a}\cdot \overrightarrow{b}+4{\left|\overrightarrow{b}\right|}^2-4\overrightarrow{b}\cdot \overrightarrow{\mathrm{OC}})$
${\displaystyle {\left|\overrightarrow{\mathrm{MH}}\right|}^2}$${\displaystyle =\frac{1}{4^2}\{1^2-4\cdot (-1)+4\cdot 2^2}$
                    $+8\cdot 3+4\cdot 3^2-4\cdot \frac{3}{2}\}$
${\displaystyle {\left|\overrightarrow{\mathrm{MH}}\right|}^2}$${\displaystyle =\frac{75}{4^2}}$
より、
${\displaystyle \left|\overrightarrow{\mathrm{MH}}\right|=\frac{\sqrt{75}}{4}}$
${\displaystyle \left|\overrightarrow{\mathrm{MH}}\right|}$${\displaystyle =\frac{5\sqrt{3}}{4}}$
である。

解答ケ：５, コ：３, サ：４