縦をX,横を(5-X)cmとおく。5-X>0より、0<X<5
面積をSとおくと、　S=X(5-X)
１、(式を変形)　S=-(X-5/2)^2＋25/4
これは頂点（5/2,25/4）で上に凸の放物線をあらわす、よってSはX=5/2のとき最大値25/4をとる。このとき横の長さは5-5/2=5/2

２、S=X(5-X)　SをXについて微分すると、
　　S'＝-2X＋5　ここでS'=0のときX=5/2
S'はX<5/2で正の値をとるので単調に増加、
　　X>5/2で負の値をとるので単調に減少。
　　よって、SはX=5/2のとき最大値25/4をとる。
すなわち正方形のとき。

25/π　が最大

あっさりやられました。正解は25/πです。
図形は円になります。円周が１０ｃｍなので半径は5/πですね。閉めます。