最初は、直線$\ell$が辺$\mathrm{CD}$（頂点$\mathrm{C}$，$\mathrm{D}$を除く）と交わるときの$\mathrm{AP}$の範囲から。

$\mathrm{AP}=x$
として、$\mathrm{CR}$を$x$で表そう。

$\mathrm{BP}=\mathrm{AB}-\mathrm{AP}$
なので、
$\mathrm{BP}=5-x$

△$\mathrm{BPQ}$は$\mathrm{BP}=\mathrm{BQ}$の直角二等辺三角形だから、
$\mathrm{BQ}=\mathrm{BP}=5-x$

$\mathrm{CQ}=\mathrm{BC}-\mathrm{BQ}$
より、
$\mathrm{CQ}=6-(5-x)$
$\phantom{ \mathrm{CQ} } =1+x$

△$\mathrm{CQR}$も$\mathrm{CQ}=\mathrm{CR}$の直角二等辺三角形なので、
$\mathrm{CR}=\mathrm{CQ}=1+x$

ここまでを参考図に書き込むと、図Ａができる。

直線$\ell$が線分$\mathrm{CD}$（点$\mathrm{C}$，点$\mathrm{D}$を除く）と交わるためには、$\mathrm{CR}$が
$0 \lt \mathrm{CR} \lt 5$
の範囲にあればよい。

図Ａより、$\mathrm{CR}$は$1+x$なので、
$0 \lt 1+x \lt 5$
より
$-1 \lt x \lt 4$
となるけど、$x$は$\mathrm{AP}$の長さなので、負の値にはならない。

よって、このときの$x$の範囲、つまり $\mathrm{AP}$の範囲は
$0\leqq \mathrm{AP} \lt 4$
である。

解答ア：４

このとき、点$\mathrm{S}$は必ず辺$\mathrm{AD}$（両端を除く）上にある。
また、点$\mathrm{T}$は必ず線分$\mathrm{PQ}$（両端を除く）上にある。

問題ではこうなる理由は問われていないので、時間節約のために共通テスト本番では気にしないことをお勧めする。
簡単な説明を下の「詳しく」に載せておいたので、気になる人は確認して欲しい。

このときの四角形$\mathrm{QRST}$の面積の最大値を求める。
以下、四角形$\mathrm{QRST}$を「オレンジの長方形」と呼び、面積を$S$と書くことにする。

方針は、$S$を$x$で表して、二次関数の最大の問題に持ち込む。
具体的には、図Ｂの$\mathrm{QR}$と$\mathrm{RS}$の長さを求めて、面積の式をつくろう。

$\mathrm{QR}$は、
図Ｂより
$\mathrm{CQ}=1+x$ △$\mathrm{CQR}$（黄色い三角形）は直角二等辺三角形だから、
$\mathrm{CQ}:\mathrm{QR}=1:\sqrt{2}$ なので、
$\mathrm{QR}=\sqrt{2}(1+x)$

$\mathrm{RS}$は、
$\mathrm{DR}=\mathrm{CD}-\mathrm{CR}$
$\phantom{ \mathrm{DR} } =5-(1+x)$
$\phantom{ \mathrm{DR} } =4-x$ △$\mathrm{DRS}$（青い三角形）は直角二等辺三角形だから、
$\mathrm{DR}:\mathrm{RS}=1:\sqrt{2}$ なので、
$\mathrm{RS}=\sqrt{2}(4-x)$

よって、$S$は
$S=\mathrm{QR}\times \mathrm{RS}$
$\phantom{ S } =\sqrt{2}(1+x)\times\sqrt{2}(4-x)$
$\phantom{ S } =2(1+x)(4-x)$式Ｃ
と表せる。

ここからは、アより
$0\leqq x \lt 4$
を定義域として、式Ｃの
$S=2(1+x)(4-x)$式Ｃ
の最大値を求めればよい。

式Ｃのグラフは上に凸の放物線で、$x=-1$，$4$で$x$軸と交わる。
なので、放物線の頂点の$x$座標は、$-1$と$4$のちょうど真ん中の
$x=\displaystyle \frac{-1+4}{2}$
$\phantom{ x\displaystyle } \displaystyle =\frac{3}{2}$式Ｄ
である。

これは、定義域の
$0\leqq x \lt 4$
に含まれるから、$S$の最大値だ。

最大値は、式Ｄを式Ｃに代入して、
$S=\displaystyle 2\left(1+\frac{3}{2}\right)\left(4-\frac{3}{2}\right)$
$\phantom{ S } \displaystyle =2\cdot\frac{5}{2}\cdot\frac{5}{2}$
$\phantom{ S } \displaystyle =\frac{25}{2}$
である。

解答イ：2, ウ：5, エ：2

次は、$a=8$のとき。
$a=6$のときと同様の作業をすると、図Ｄができる。

ここから先も$a=6$のときと同じだ。

図Ｄより、$\ell$が辺$\mathrm{CD}$（点$\mathrm{C}$，点$\mathrm{D}$を除く）と交わるのは、
$0 \lt 3+x \lt 5$
より
$-3 \lt x \lt 2$
だけど、$x$は負にはならないので、
$0\leqq x \lt 2$
のとき。

このときの$S$は、
$\mathrm{QR}=\sqrt{2}(3+x)$ $\mathrm{RS}=\sqrt{2}(2-x)$ なので、
$S=\sqrt{2}(3+x)\times\sqrt{2}(2-x)$
$\phantom{ S } =2(3+x)(2-x)$式Ｅ
とかける。

式Ｅの放物線は$x=-3$，$2$で$x$軸と交わるので、頂点の$x$座標は
$x=\displaystyle \frac{-3+2}{2}$
$\phantom{ x\displaystyle } \displaystyle =-\frac{1}{2}$
だけど、グラフは図Ｅのようになるから 最大は赤い点だ。

よって、求める最大値は、式Ｅに$x=0$を代入して、
$S=2(3+0)(2-0)$
$\phantom{ S } =12$
である。

解答オ：1, カ：2

(2)は$\mathrm{BC}=a$だけど、数字が文字に変わるだけで、(1)と同じことをくり返せばよい。

$\mathrm{BC}=a$として(1)と同様の作業をすると、図Ｆができる。

図Ｆより、$\ell$が辺$\mathrm{CD}$（点$\mathrm{C}$，点$\mathrm{D}$を除く）と交わるのは、
$0 \lt -5+(x+a) \lt 5$
より
$5-a \lt x \lt 10-a$
だけど、この式の左辺の
$5-a$
は、問題文の条件より負の値だ。

詳しく

問題文より
$5 \lt a$
なので、
$5-a \lt 0$
である。

$x$は負にはならないので、問われている範囲は、
$0\leqq x \lt 10-a$①
になる。

解答キ：1, ク：0

このときの$S$は、
$\mathrm{QR}=\sqrt{2}\{-5+(x+a)\}$ $\mathrm{RS}=\sqrt{2}\{10-(x+a)\}$ なので、
$S=\sqrt{2}\{-5+(x+a)\}\times\sqrt{2}\{10-(x+a)\}$
$\phantom{ S } =2\{-5+(x+a)\}\{10-(x+a)\}$式Ｆ
とかける。

式Ｆの放物線は$x=5-a$，$10-a$で$x$軸と交わるので、頂点の$x$座標は
$x=\displaystyle \frac{(5-a)+(10-a)}{2}$
$\phantom{ x\displaystyle } \displaystyle =\frac{15}{2}-a$式Ｇ
となるから、グラフは図Ｇのような状況だ。

ここで、式Ｆを見て気づくのは、これは
$S=2(-5+x)(10-x)$式Ｈ
の$x$に$(x+a)$を代入したものであること。
なので、図Ｇのグラフは、式Ｈのグラフを
$x$軸方向に$-a$だけ平行移動したもの である。
縦軸（$S$軸）方向には動かないので、頂点の$S$座標は$a$の値にかかわらず一定だ。
このことから、計算しなくても、図Ｇのグラフの頂点の$S$座標は、$a=6$のときと同じ
$S=\displaystyle \frac{25}{2}$
であることが分かる。

今問われているのは、最大値が$\displaystyle \frac{25}{2}$となるとき。
つまり、定義域に頂点が含まれるときだから、定義域の左端が$5-a$と$\displaystyle \frac{15}{2} -a$の間にあればよい。
定義域は①の
$0 \textcolor{red}{\leqq} x \lt 10-a$
なので、定義域の左端の$0$と$\displaystyle \frac{15}{2} -a$が重なるときもOKだ。

よって、
$5-a \lt 0 \leqq \displaystyle \frac{15}{2} -a$
という式ができる。

この式の各辺に$a$をたすと、
$5 \lt a \leqq \displaystyle \frac{15}{2}$

これは、問題文中の条件の
$5 \lt a \lt 10$
に含まれているので、求める$a$の範囲である。

解答ケ：1, コ：5, サ：2

$a$がこれ以外の範囲のとき、つまり
$\displaystyle \frac{15}{2} \lt a \lt 10$
のとき、$S$のグラフは図Ｈのようになる。

このとき、$S$が最大になるのは、$x=0$のとき。
最大値は、式Ｆに$x=0$を代入して、
$S=2\{-5+(0+a)\}\{10-(0+a)\}$

途中式

$\phantom{ S } =2(-5+a)(10-a)$
$\phantom{ S } =2(-a^{2}+15a-50)$

$\phantom{ S } =-2a^{2}+30a-100$
である。

解答シ：－, ス：2, セ：3, ソ：0, タ：1, チ：0, ツ：0