この問題は2次関数の単元だけど、2次関数を全く使わなくても解くことができる。
数学というよりも中学入試の算数的な解き方で、共通テスト本番には全くお勧めしないけど、せっかくなので解説しておく。
二次関数による一般的な解法はこちらのページを見てほしい。

どうせ一般的じゃない解き方を解説するのなら、とびきり変わった方法で解こう。
最初は、直線$\ell$が辺$\mathrm{CD}$（点$\mathrm{C}$，点$\mathrm{D}$を除く）と交わるとき、つまり 点$\mathrm{R}$が辺$\mathrm{CD}$（両端を除く）上にあるときの$\mathrm{AP}$の範囲だ。
イメージがつかみにくいのは、3点$\mathrm{P}$，$\mathrm{Q}$，$\mathrm{R}$がひとつの直線上にないから。
コンセプトは「直線上にないなら、直線上にあるようにすればいいじゃない」だ。

図Ａのように、直線$\mathrm{BC}$に関して 点$\mathrm{D}$，点$\mathrm{R}$と対称な点をとり、それぞれ点$\mathrm{D}'$，点$\mathrm{R}'$とする。

このとき、
$\angle \mathrm{BQP}=\angle \mathrm{CQR}=\angle \mathrm{CQR}'=45^{\circ}$
だから、$\mathrm{PR}'$は直線だ。

$\mathrm{CR}=\mathrm{CR}'$なので、点$\mathrm{R}$が辺$\mathrm{CD}$（両端を除く）上にあるためには、
点$\mathrm{R}'$が緑の線の範囲 にあればよい。

さらに、点$\mathrm{P}$は辺$\mathrm{AB}$（点$\mathrm{B}$を除く）上にあるから、
点$\mathrm{P}$は図中の青い線の範囲 にある。

以上より、求める範囲は
直線$\mathrm{PR}'$が図中の黄色い範囲（点線を除く）にあるとき なので、
点$\mathrm{P}$が図中の赤い線の範囲にあるとき といえる。

この点$\mathrm{P}$の範囲を、$\mathrm{AP}$の長さの範囲にしよう。

図Ａのグレーの直角二等辺三角形は、$\mathrm{AD}$が$6$だから$\mathrm{DU}$も$6$だ。
よって、
$\mathrm{UD}'=\mathrm{DD}'-\mathrm{DU}$
$\phantom{ \mathrm{UD}' } =(5+5)-6$
$\phantom{ \mathrm{UD}' } =4$
だけど、この$\mathrm{UD}'$は赤い線と長さが等しい。

以上より、求める$\mathrm{AP}$の範囲は
$0\leqq \mathrm{AP} \lt 4$式Ａ
である。

解答ア：４

点$\mathrm{P}$が式Ａの範囲にあるとき、
点$\mathrm{S}$は辺$\mathrm{AD}$（点$\mathrm{D}$を除く）上 点$\mathrm{T}$は線分$\mathrm{PQ}$（両端を除く）上 にある。
長くなるので、理由は省略。
気になる人はこちらを見てほしい。

したがって、このとき、例えば図形は図Ｂのような状態になる。

四角形$\mathrm{QRST}$は長方形なので、
$\mathrm{QR}=\mathrm{ST}$
$\mathrm{RS}=\mathrm{TQ}$ だから、図Ｂ中の同じ色の直角二等辺三角形は合同だ。

よって、図中の赤い長方形は、４辺の長さが等しいから正方形である。

ここでちょっと復習だ。
いや、復習って言っても、数学じゃなくて算数の復習をする。

小学校で習ったかも知れないけど、

復習

図Ｃのように 赤い正方形に$45^{\circ}$の角度で紫の長方形が内接しているとき、
紫の長方形が正方形に近い形であるほど面積は大きく、正方形のときに最大。 最大のとき、面積は赤い正方形の半分。

だった。
長くなるので、こうなる理由は省略する。
習ってなければごめん。

図Ｄのように、赤い正方形の$\mathrm{C}$，$\mathrm{D}$以外の頂点を$\mathrm{E}$，$\mathrm{F}$、点$\mathrm{P}$から線分$\mathrm{EF}$に下ろした垂線の足を$\mathrm{H}$とする。

図Dで、
$\mathrm{HT}=\mathrm{PH}=\mathrm{BF}=\mathrm{BC}-\mathrm{FC}$
$\phantom{\mathrm{HT}=\mathrm{PH}=\mathrm{BF}}=6-5$
$\phantom{\mathrm{HT}=\mathrm{PH}=\mathrm{BF}}=1$
だ。

また、
$\mathrm{EH}=\mathrm{AP}$
なので、
$\mathrm{ET}=\mathrm{EH}+\mathrm{HT}$
は
$\mathrm{ET}=\mathrm{AP}+1$
とかける。

これと、式Ａより
$1\leqq \mathrm{ET} \lt 5$
だから、点$\mathrm{T}$は図Ｄの緑の線の範囲にある。

よって、点$\mathrm{T}$が$\mathrm{EF}$の中点になること、つまり、四角形$\mathrm{QRST}$が正方形になることは可能だ。

以上より、四角形$\mathrm{QRST}$の面積が最大になるのは正方形のときで、その面積は赤い正方形の面積の半分の
$\displaystyle \frac{1}{2}\times 5\times 5=\frac{25}{2}$
である。

解答イ：２, ウ：５, エ：２

次は$a=8$のとき。

$a=6$のときと同様に考えると、点$\mathrm{R}$が辺$\mathrm{CD}$（両端を除く）上にあるのは、点$\mathrm{P}$が図Ｅの赤い線の範囲にあるとき。

赤い線の長さは
赤$=\mathrm{DD}'-$グレーの三角形の高さ
より
赤$=(5+5)-8$
赤$=2$
となる。

よって、$a=8$のときの$\mathrm{AP}$の範囲は
$0\leqq \mathrm{AP} \lt 2$式Ｂ
である。

このとき、図形は、例えば図Ｆのような状態だ。

今回も、赤い四角形は正方形だ。

ここから先も$a=6$のときと同じ作業をすると、
図Ｆで、
$\mathrm{HT}=\mathrm{PH}=\mathrm{BF}=\mathrm{BC}-\mathrm{FC}$
$\phantom{\mathrm{HT}=\mathrm{PH}=\mathrm{BF}}=8-5$
$\phantom{\mathrm{HT}=\mathrm{PH}=\mathrm{BF}}=3$
だ。

また、
$\mathrm{EH}=\mathrm{AP}$
なので、
$\mathrm{ET}=\mathrm{EH}+\mathrm{HT}$
は
$\mathrm{ET}=\mathrm{AP}+3$
とかける。

これと、式Ｂより
$3\leqq \mathrm{ET} \lt 5$
だから、点$\mathrm{T}$は図Ｆの緑の線の範囲にある。

この範囲に$\mathrm{EF}$の中点は含まれないので、四角形$\mathrm{QRST}$は正方形にはならない。
なので、面積が最大になるのは、$\mathrm{QRST}$が正方形に一番近くなる、点$\mathrm{T}$が緑の範囲の上端にあるときだ。

このとき、点$\mathrm{P}$は点$\mathrm{A}$と重なるので、図形は図Ｇのようになる。

図Ｇの四角形$\mathrm{QRST}$の面積$S$は、
$S=$赤い正方形
      $-$黄色い三角形$\times 2-$青い三角形$\times 2$式Ｃ
とかける。

赤い正方形の面積は、
赤$=5\times 5$
赤$=25$

黄色い三角形の面積は、
$\mathrm{ET}=\mathrm{EP}$
$\phantom{ \mathrm{ET} } =8-5$
$\phantom{ \mathrm{ET} } =3$
なので、
黄$=\displaystyle \frac{1}{2}\times 3\times 3$

青い三角形の面積は、
$\mathrm{FT}=\mathrm{EF}-\mathrm{ET}$
$\phantom{ \mathrm{FT} } =5-3$
$\phantom{ \mathrm{FT} } =2$
なので、
青$=\displaystyle \frac{1}{2}\times 2\times 2$

以上を式Ｃに代入して、このときの面積の最大値$S$は、
$S=25-\displaystyle \frac{1}{2}\cdot 3^{2}\cdot 2-\frac{1}{2}\cdot 2^{2}\cdot 2$
$\phantom{ S } =25-3^{2}-2^{2}$
$\phantom{ S } =12$
である。

解答オ：1, カ：2

(1)と同様に考えると、点$\mathrm{R}$が辺$\mathrm{CD}$（両端を除く）上にあるのは、点$\mathrm{P}$が図Ｈの赤い線の範囲にあるとき。

赤い線の長さは
赤$=\mathrm{DD}'-$グレーの三角形の高さ
より
赤$=(5+5)-a$
赤$=10-a$
だ。

よって、このときの$\mathrm{AP}$の範囲は
$0\leqq \mathrm{AP} \lt 10-a$①
である。

解答キ：1, ク：0

イメージが頭に入ったところで、問題に戻ろう。
長方形$\mathrm{QRST}$の面積の最大値が$\displaystyle \frac{25}{2}$であるような$a$の範囲を求める。

イウエで考えたように、$\mathrm{QRST}$の面積が$\displaystyle \frac{25}{2}$になるのは正方形のときで、点$\mathrm{T}$が$\mathrm{EF}$の中点のとき。
このとき、図形は図Ｊのようになる。

このような図になるためには、点$\mathrm{P}$が図Ｊの紫の線上にないといけないので、辺$\mathrm{AB}$は緑の範囲にある。
つまり、直線$\mathrm{DE}$と直線$\mathrm{QT}$の交点を$\mathrm{U}$とすると、点$\mathrm{A}$は線分$\mathrm{EU}$（点$\mathrm{E}$を除く）上にある。
式で表すと
$0 \lt \mathrm{AE}\leqq \mathrm{UE}$
だ。

このとき、
$\displaystyle \mathrm{UE}= \mathrm{ET}=\frac{1}{2}\times \mathrm{EF}$
$\phantom{ \mathrm{UE}= \mathrm{ET} } \displaystyle =\frac{5}{2}$
なので、
$\displaystyle 0 \lt \mathrm{AE}\leqq\frac{5}{2}$
であることが分かる。

ここで、
$a=\mathrm{AE}+\mathrm{ED}$
$\phantom{a}=\mathrm{AE}+5$
なので、求める$a$の範囲は
$5 \lt a\displaystyle \leqq\frac{15}{2}$
である。

解答ケ：１, コ：５, サ：２

$a$がこの範囲にないとき、つまり
$\displaystyle \frac{15}{2} \lt a \lt 10$
のとき、辺$\mathrm{AB}$は図Ｊの緑の範囲よりも左にある。
したがって、図Ｋのように 点$\mathrm{T}$は$\mathrm{EF}$の中点よりも下にあるから、四角形$\mathrm{QRST}$は正方形にならない。

このとき、$\mathrm{QRST}$の面積が最大になるのは、できるだけ正方形に近い形のとき。
つまり、点$\mathrm{T}$が$\mathrm{EF}$の中点に一番近づくときだから、点$\mathrm{P}$と点$\mathrm{A}$が重なるとき。
よって、図Ｋのオレンジの面積が $\displaystyle \frac{15}{2} \lt a \lt 10$ における$\mathrm{QRST}$の面積の最大値だ。

この面積を$S$とすると、
$S=$赤い正方形
      $-$黄色い三角形$\times 2-$青い三角形$\times 2$式Ｄ
とかける。

赤い正方形の面積は、
赤$=5\times 5$
赤$=25$

黄色い三角形の面積は、
$\mathrm{ET}=\mathrm{EP}$
$\phantom{ \mathrm{ET} } =a-5$
なので、
黄$=\displaystyle \frac{1}{2}\times(a-5)\times(a-5)$

青い三角形の面積は、
$\mathrm{FT}=\mathrm{EF}-\mathrm{ET}$
$\phantom{ \mathrm{FT} } =5-(a-5)$
$\phantom{ \mathrm{FT} } =10-a$
なので、
青$=\displaystyle \frac{1}{2}\times(10-a)\times(10-a)$

以上を式Ｃに代入して、このときの面積の最大値$S$は、
$S=25-\displaystyle \frac{1}{2}(a-5)^{2}\cdot 2-\frac{1}{2}(10-a)^{2}\cdot 2$
$\phantom{ S } =25-(a-5)^{2}-(10-a)^{2}$

途中式

因数分解すると
$S =\{5+(a-5)\}\{5-(a-5)\}-(10-a)^{2}$
$\phantom{ S } =a(10-a)-(10-a)^{2}$
$\phantom{ S } =(10-a)\{a-(10-a)\}$
$\phantom{ S } =(10-a)(10-2a)$
$\phantom{ S } =-2a^{2}+30a-100$
だけど、今回は単純に展開して
$S =25-(a^{2}-10a+25)-(a^{2}-20a+100)$
$\phantom{ S } =25-a^{2}+10a-25-a^{2}+20a-100$
$\phantom{ S } =-2a^{2}+30a-100$
としたほうが早い。

なので、
$S=-2a^{2}+30a-100$
である。

解答シ：－, ス：2, セ：3, ソ：0, タ：1, チ：0, ツ：0