この問題は2次関数の単元だけど、2次関数を全く使わなくても解くことができる。
数学というよりも中学入試の算数的な解き方で、共通テスト本番には全くお勧めしないけど、せっかくなので解説しておく。
二次関数による一般的な解法はこちらのページを見てほしい。

どうせ一般的じゃない解き方を解説するのなら、とびきり変わった方法で解こう。
最初は、直線$\ell$が辺$\mathrm{CD}$（点$\mathrm{C}$，点$\mathrm{D}$を除く）と交わるとき、つまり 点$\mathrm{R}$が辺$\mathrm{CD}$（両端を除く）上にあるときの$\mathrm{AP}$の範囲だ。
イメージがつかみにくいのは、3点$\mathrm{P}$，$\mathrm{Q}$，$\mathrm{R}$がひとつの直線上にないから。
コンセプトは「直線上にないなら、直線上にあるようにすればいいじゃない」だ。

図Ａのように、直線$\mathrm{BC}$に関して 点$\mathrm{D}$，点$\mathrm{R}$と対称な点をとり、それぞれ点${\mathrm{D}}^{\prime }$，点${\mathrm{R}}^{\prime }$とする。

このとき、
$\mathrm{\angle }\mathrm{BQP}=\mathrm{\angle }\mathrm{CQR}=\mathrm{\angle }{\mathrm{CQR}}^{\prime }={45}^{\circ }$
だから、${\mathrm{PR}}^{\prime }$は直線だ。

$\mathrm{CR}={\mathrm{CR}}^{\prime }$なので、点$\mathrm{R}$が辺$\mathrm{CD}$（両端を除く）上にあるためには、
点${\mathrm{R}}^{\prime }$が緑の線の範囲 にあればよい。

さらに、点$\mathrm{P}$は辺$\mathrm{AB}$（点$\mathrm{B}$を除く）上にあるから、
点$\mathrm{P}$は図中の青い線の範囲 にある。

以上より、求める範囲は
直線${\mathrm{PR}}^{\prime }$が図中の黄色い範囲（点線を除く）にあるとき なので、
点$\mathrm{P}$が図中の赤い線の範囲にあるとき といえる。

この点$\mathrm{P}$の範囲を、$\mathrm{AP}$の長さの範囲にしよう。

図Ａのグレーの直角二等辺三角形は、$\mathrm{AD}$が$6$だから$\mathrm{DU}$も$6$だ。
よって、
${\mathrm{UD}}^{\prime }={\mathrm{DD}}^{\prime }-\mathrm{DU}$
$\phantom{{\mathrm{UD}}^{\prime }}=(5+5)-6$
$\phantom{{\mathrm{UD}}^{\prime }}=4$
だけど、この${\mathrm{UD}}^{\prime }$は赤い線と長さが等しい。

以上より、求める$\mathrm{AP}$の範囲は
$0\leqq \mathrm{AP}<4$式Ａ
である。

解答ア：４

点$\mathrm{P}$が式Ａの範囲にあるとき、
点$\mathrm{S}$は辺$\mathrm{AD}$（点$\mathrm{D}$を除く）上 点$\mathrm{T}$は線分$\mathrm{PQ}$（両端を除く）上 にある。
長くなるので、理由は省略。
気になる人はこちらを見てほしい。

したがって、このとき、例えば図形は図Ｂのような状態になる。

四角形$\mathrm{QRST}$は長方形なので、
$\mathrm{QR}=\mathrm{ST}$
$\mathrm{RS}=\mathrm{TQ}$ だから、図Ｂ中の同じ色の直角二等辺三角形は合同だ。

よって、図中の赤い長方形は、４辺の長さが等しいから正方形である。

ここでちょっと復習だ。
いや、復習って言っても、数学じゃなくて算数の復習をする。

小学校で習ったかも知れないけど、

復習

図Ｃのように 赤い正方形に${45}^{\circ }$の角度で紫の長方形が内接しているとき、
紫の長方形が正方形に近い形であるほど面積は大きく、正方形のときに最大。 最大のとき、面積は赤い正方形の半分。

だった。
長くなるので、こうなる理由は省略する。
習ってなければごめん。

図Ｄのように、赤い正方形の$\mathrm{C}$，$\mathrm{D}$以外の頂点を$\mathrm{E}$，$\mathrm{F}$、点$\mathrm{P}$から線分$\mathrm{EF}$に下ろした垂線の足を$\mathrm{H}$とする。

図Dで、
$\mathrm{HT}=\mathrm{PH}=\mathrm{BF}=\mathrm{BC}-\mathrm{FC}$
$\phantom{\mathrm{HT}=\mathrm{PH}=\mathrm{BF}}=6-5$
$\phantom{\mathrm{HT}=\mathrm{PH}=\mathrm{BF}}=1$
だ。

また、
$\mathrm{EH}=\mathrm{AP}$
なので、
$\mathrm{ET}=\mathrm{EH}+\mathrm{HT}$
は
$\mathrm{ET}=\mathrm{AP}+1$
とかける。

これと、式Ａより
$1\leqq \mathrm{ET}<5$
だから、点$\mathrm{T}$は図Ｄの緑の線の範囲にある。

よって、点$\mathrm{T}$が$\mathrm{EF}$の中点になること、つまり、四角形$\mathrm{QRST}$が正方形になることは可能だ。

以上より、四角形$\mathrm{QRST}$の面積が最大になるのは正方形のときで、その面積は赤い正方形の面積の半分の
${\displaystyle \frac{1}{2}\times 5\times 5=\frac{25}{2}}$
である。

解答イ：２, ウ：５, エ：２

次は$a=8$のとき。

$a=6$のときと同様に考えると、点$\mathrm{R}$が辺$\mathrm{CD}$（両端を除く）上にあるのは、点$\mathrm{P}$が図Ｅの赤い線の範囲にあるとき。

赤い線の長さは
赤$={\mathrm{DD}}^{\prime }-$グレーの三角形の高さ
より
赤$=(5+5)-8$
赤$=2$
となる。

よって、$a=8$のときの$\mathrm{AP}$の範囲は
$0\leqq \mathrm{AP}<2$式Ｂ
である。

このとき、図形は、例えば図Ｆのような状態だ。

今回も、赤い四角形は正方形だ。

ここから先も$a=6$のときと同じ作業をすると、
図Ｆで、
$\mathrm{HT}=\mathrm{PH}=\mathrm{BF}=\mathrm{BC}-\mathrm{FC}$
$\phantom{\mathrm{HT}=\mathrm{PH}=\mathrm{BF}}=8-5$
$\phantom{\mathrm{HT}=\mathrm{PH}=\mathrm{BF}}=3$
だ。

また、
$\mathrm{EH}=\mathrm{AP}$
なので、
$\mathrm{ET}=\mathrm{EH}+\mathrm{HT}$
は
$\mathrm{ET}=\mathrm{AP}+3$
とかける。

これと、式Ｂより
$3\leqq \mathrm{ET}<5$
だから、点$\mathrm{T}$は図Ｆの緑の線の範囲にある。

この範囲に$\mathrm{EF}$の中点は含まれないので、四角形$\mathrm{QRST}$は正方形にはならない。
なので、面積が最大になるのは、$\mathrm{QRST}$が正方形に一番近くなる、点$\mathrm{T}$が緑の範囲の上端にあるときだ。

このとき、点$\mathrm{P}$は点$\mathrm{A}$と重なるので、図形は図Ｇのようになる。

図Ｇの四角形$\mathrm{QRST}$の面積$S$は、
$S=$赤い正方形
      $-$黄色い三角形$\times 2-$青い三角形$\times 2$式Ｃ
とかける。

赤い正方形の面積は、
赤$=5\times 5$
赤$=25$

黄色い三角形の面積は、
$\mathrm{ET}=\mathrm{EP}$
$\phantom{\mathrm{ET}}=8-5$
$\phantom{\mathrm{ET}}=3$
なので、
黄$={\displaystyle \frac{1}{2}\times 3\times 3}$

青い三角形の面積は、
$\mathrm{FT}=\mathrm{EF}-\mathrm{ET}$
$\phantom{\mathrm{FT}}=5-3$
$\phantom{\mathrm{FT}}=2$
なので、
青$={\displaystyle \frac{1}{2}\times 2\times 2}$

以上を式Ｃに代入して、このときの面積の最大値$S$は、
$S=25-{\displaystyle \frac{1}{2}\cdot 3^2\cdot 2-\frac{1}{2}\cdot 2^2\cdot 2}$
$\phantom{S}=25-3^2-2^2$
$\phantom{S}=12$
である。

解答オ：1, カ：2

(1)と同様に考えると、点$\mathrm{R}$が辺$\mathrm{CD}$（両端を除く）上にあるのは、点$\mathrm{P}$が図Ｈの赤い線の範囲にあるとき。

赤い線の長さは
赤$={\mathrm{DD}}^{\prime }-$グレーの三角形の高さ
より
赤$=(5+5)-a$
赤$=10-a$
だ。

よって、このときの$\mathrm{AP}$の範囲は
$0\leqq \mathrm{AP}<10-a$①
である。

解答キ：1, ク：0

イメージが頭に入ったところで、問題に戻ろう。
長方形$\mathrm{QRST}$の面積の最大値が${\displaystyle \frac{25}{2}}$であるような$a$の範囲を求める。

イウエで考えたように、$\mathrm{QRST}$の面積が${\displaystyle \frac{25}{2}}$になるのは正方形のときで、点$\mathrm{T}$が$\mathrm{EF}$の中点のとき。
このとき、図形は図Ｊのようになる。

このような図になるためには、点$\mathrm{P}$が図Ｊの紫の線上にないといけないので、辺$\mathrm{AB}$は緑の範囲にある。
つまり、直線$\mathrm{DE}$と直線$\mathrm{QT}$の交点を$\mathrm{U}$とすると、点$\mathrm{A}$は線分$\mathrm{EU}$（点$\mathrm{E}$を除く）上にある。
式で表すと
$0<\mathrm{AE}\leqq \mathrm{UE}$
だ。

このとき、
${\displaystyle \mathrm{UE}=\mathrm{ET}=\frac{1}{2}\times \mathrm{EF}}$
$\phantom{\mathrm{UE}=\mathrm{ET}}{\displaystyle =\frac{5}{2}}$
なので、
${\displaystyle 0<\mathrm{AE}\leqq \frac{5}{2}}$
であることが分かる。

ここで、
$a=\mathrm{AE}+\mathrm{ED}$
$\phantom{a}=\mathrm{AE}+5$
なので、求める$a$の範囲は
$5<a{\displaystyle \leqq \frac{15}{2}}$
である。

解答ケ：１, コ：５, サ：２

$a$がこの範囲にないとき、つまり
${\displaystyle \frac{15}{2}<a<10}$
のとき、辺$\mathrm{AB}$は図Ｊの緑の範囲よりも左にある。
したがって、図Ｋのように 点$\mathrm{T}$は$\mathrm{EF}$の中点よりも下にあるから、四角形$\mathrm{QRST}$は正方形にならない。

このとき、$\mathrm{QRST}$の面積が最大になるのは、できるだけ正方形に近い形のとき。
つまり、点$\mathrm{T}$が$\mathrm{EF}$の中点に一番近づくときだから、点$\mathrm{P}$と点$\mathrm{A}$が重なるとき。
よって、図Ｋのオレンジの面積が ${\displaystyle \frac{15}{2}<a<10}$ における$\mathrm{QRST}$の面積の最大値だ。

この面積を$S$とすると、
$S=$赤い正方形
      $-$黄色い三角形$\times 2-$青い三角形$\times 2$式Ｄ
とかける。

赤い正方形の面積は、
赤$=5\times 5$
赤$=25$

黄色い三角形の面積は、
$\mathrm{ET}=\mathrm{EP}$
$\phantom{\mathrm{ET}}=a-5$
なので、
黄$={\displaystyle \frac{1}{2}\times (a-5)\times (a-5)}$

青い三角形の面積は、
$\mathrm{FT}=\mathrm{EF}-\mathrm{ET}$
$\phantom{\mathrm{FT}}=5-(a-5)$
$\phantom{\mathrm{FT}}=10-a$
なので、
青$={\displaystyle \frac{1}{2}\times (10-a)\times (10-a)}$

以上を式Ｃに代入して、このときの面積の最大値$S$は、
$S=25-{\displaystyle \frac{1}{2}(a-5{)}^2\cdot 2-\frac{1}{2}(10-a{)}^2\cdot 2}$
$\phantom{S}=25-(a-5{)}^2-(10-a{)}^2$

途中式

因数分解すると
$S=\{5+(a-5)\}\{5-(a-5)\}-(10-a{)}^2$
$\phantom{S}=a(10-a)-(10-a{)}^2$
$\phantom{S}=(10-a)\{a-(10-a)\}$
$\phantom{S}=(10-a)(10-2a)$
$\phantom{S}=-2a^2+30a-100$
だけど、今回は単純に展開して
$S=25-(a^2-10a+25)-(a^2-20a+100)$
$\phantom{S}=25-a^2+10a-25-a^2+20a-100$
$\phantom{S}=-2a^2+30a-100$
としたほうが早い。

なので、
$S=-2a^2+30a-100$
である。

解答シ：－, ス：2, セ：3, ソ：0, タ：1, チ：0, ツ：0