(3-2√2)/4

3辺はa,b,√(a^2+b^2)とかける。周の長さが1なので

a+b+√(a^2+b^2)=1

相加相乗平均の不等式より,
a+b≧2√ab
a^2+b^2≧2ab
(等号成立はどちらもa=b, つまり直角二等辺三角形のとき)

よって,
1
=a+b+√(a^2+b^2)
≧2√ab+√(2ab)
=(2+√2)√ab

ab/2≦1/(2(2+√2)^2)=(3-2√2)/4

答　(3-2√2)/4

なんやかんやで、こういうのは直角二等辺三角形が最大になる。多分。
でその時の面積は

(1/(2+√2)) * (1/(2+√2)) /2
=(1/(6+4√2))/2
=1/(12+8√2)

底辺を変えて検算
((√2)/(2+√2)) * (((√2)/(2+√2))/2) /2
=1/(6+4√2) /2
=1/(12+8√2)

４５度の直角三角形が最大とみました。
１：１：√２の図形で計算します。
底辺ｘ高さ/２で　（１/（１＋１＋√２）ｘ１/（１＋１＋√２））/２
で、０．０４２８９３２

直角に接する辺の長さをx,yとすると
直角と向かい合う辺の長さは
√(x^2+y^2)

周は1なので、
x+y+√(x^2+y^2)=1
(x+y-1)+√(x^2+y^2)=0
両辺に(x+y-1)-√(x^2+y^2)をかけて
右辺=0
左辺={(x+y-1)+√(x^2+y^2)}{(x+y-1)-√(x^2+y^2)
=(x+y-1)^2 - {√(x^2+y^2)}^2
=x^2+y^2+1+2xy-2x-2y - (x^2+y^2)
=1+2xy-2x-2y
xについて解くと
x(2y-2)+1-2y=0
x=(2y-1)/(2y-2)
x=1+1/(2y-2)

x,yはそれぞれ直角に接する辺なので、この直角三角形の面積は
xy/2={1+1/(2y-2)}y/2
=y/2+y/(4y-4)

yについて微分すると
d(xy/2)/dy=1/2+{(4y-4)-4y}/(4y-4)^2
=1/2+(-4)/{16*(y-1)^2}
=1/2-1/{4(y-1)^2}
導関数が0になるyをもとめる
0=1/2-1/{4(y-1)^2}
4(y-1)^2=2
(y-1)^2=1/2
y-1=±√(1/2)=±(√2)/2
y=1±(√2)/2
y<1なので
y=1-(√2)/2

導関数をさらにyで微分すると
d[1/2-1/{4(y-1)^2}]/dy
={-1/4(y-1)^3}*(-2)
=1/{2(y-1)^3}
y=1-(√2)/2のとき
1/[2{1-(√2)/2-1}^3]
=1/[2{(-√2)/2}^3]
=-1/(4√2/8)
=-2/(√2)
=-√2<0

なので、y=1-(√2)/2のときに面積は極大となる。
x=1+1/(2y-2)なので、その時のxは
x=1+1/[2{1-(√2)/2}-2]
=1+1/(-√2)
=1-(√2)/2
であり、面積は
xy/2=[{1-(√2)/2}^2]/2
=(1-√2+1/2)/2
=(3-2√2)/4

またx,yの最大値最小値における面積だが
xが最大となるときは
x=√(x^2+y^2)となるようなときであり、
その場合y=0となり、三角形として成り立たず、
y→0とした場合には面積xy/2も限りなく0に近づき、最大値とは成り得ない。
xとyを入れ替えた場合にも同様

なので極大値(3-2√2)/4が最大面積となる

∴最大面積は(3-2√2)/4

解答例�B
幾何的な方法でも一応解けましたが、思いのほかあまりスマートじゃないです...。(もっといい解き方があるかも...)

※図形が手元にないとイメージしづらいと思うので、3辺が3,4,5の直角三角形と1辺12の正方形とかで図示して頂ければって感じです。
グリッド線の描き方
http://www.becoolusers.com/word/grid-settings.html

3辺の長さがa,b,c(cは斜辺)の直角三角形を1辺の長さがa+c+b(=1)の正方形の4隅に時計回りに向きがそろうように配置します。
これにより、正方形の内側に8角形が出来上がります。題意の条件はこの8角形の面積が最小になる場合を考えればよいです。

この図形の中心点に関する対称性から、この8角形の4本の対角線はすべて中心点を通過するので、これにより8角形が8個の三角形に分割されます。
また、正方形の1辺の直角三角形の間の長さはcで、直角三角形の斜辺の長さもcなことから、この8角形はすべての辺の長さがcの正8角形もどきとなっているので、この8つの三角形はすべて合同だと分かります。
(∵例えばこれらの三角形を上から時計回りに1,2,...,8と番号付けすると、三角形1,2に関して、1組の辺が共通、1組の辺が共に長さcで、もう1組は三角形2,8が対称性より合同なことから等しいので、3組の辺が等しい。よって、三角形1,2は合同。あとは対称性から全部合同。)

したがって、三角形1が最小となる場合を考えれば十分で、三角形1の面積が最小となるのは高さが一定(=1/2)であることから底辺cが最小の場合であることが分かります。したがって以下、cが最小となる場合を考察します。
なお、三角形1の面積が1/2 * 1/2 * c = c/4なことから、直角三角形の面積は{1-8*(c/4)}/4 = (1-2c)/4となります。

2つの合同な三角形1,5に関して、中心点をOとして、三角形1を△OAB、三角形5を△OA'B'とします。このとき、OA=OA', OB=OB'です。また、OA=s, OB=t, AB'=uとおきます。

方針としては、三角形1の面積からcが最小となるのはstが最小になる時で、s,tは余弦定理でAB'と対応付けることができ、正8角形になる時にcが最小になると考えれば、cが最小 ⇔ 正8角形 ⇔ AB'が最小　なので、s,tを介してcとAB'をうまく結びつけることを考えます。

8つの三角形がすべて合同なことから、∠AOB=45°なので、
三角形1の面積より、c/4 = 1/2 * st*sin45° = st/2√2
∴c = √2 * st　　…�@

また、三角形1に対して、余弦定理から、
c^2 = s^2 + t^2 - 2st*cos45° = s^2 + t^2 - √2 * st　　…�A

△OAB'に対する余弦定理から、
u^2 = s^2 + t^2 - 2st*cos135° = s^2 + t^2 + √2 * st
= (s^2 + t^2 - √2 *st) + 2√2 * st
= c^2 +2c (∵�@、�A)
= (c+1)^2 - 1

よって、c>0, u>0より、cが最小となるのは、uが最小となる場合で、それはAB'が正方形の左右の辺と平行になる場合です。このとき、u=1より、c=√2-1(=1/(1+√2))なので、直角三角形の面積は先の式より、(3-2√2)/4 となります。
(このとき、8角形は正8角形となるので、題意の直角三角形の面積が最大となるのは直角二等辺三角形の場合であることがわかります。)


もしくは幾何的なイメージでごり押す...
中心点をOとして、三角形1を△OABとおき、半直線OA,OBを考えます。また∠AOBの二等分線OPと線分ABの交点をQとします。
8つの三角形がすべて合同なことから、∠AOBはつねに一定(=45°)なので、2半直線OA,OBと線分ABの間に以下の関係性がある事が分かります。

・正方形を固定し、2半直線OA,OBを動かすことで、線分OQの長さが最小となるのはOQ⊥ABの場合だと分かる。このときOA=OBである。

・2半直線OA,OBを固定することで、点Qが固定されている場合、ABの長さが最小となるのはOQ⊥ABの場合だと分かる。このときOA=OBである。
(∵OPに平行でAまたはBを通る直線をそれぞれl,mとする。OQ⊥ABの場合に対して、線分ABがOQと垂直でない場合の2点A,Bの位置をA',B'(ここではA'がABよりもOから遠い位置、B'がABよりもOに近い位置にあるとする)とし、A'からOP,B'からOPに対する垂線をそれぞれA'S,B'Tとする。また、AからA'S,B'からABに対する垂線をそれぞれAU,B'Vとする。
このとき、QB'が直線mまで達していないのに対し、QA'は直線lの先まで達していることからQA'>QB'なので、△QA'Sと△QB'Tの相似性から、QS>QT、よってAU>B'Vである。
よって2つの相似な三角形△AA'Uと△B'BVにおいて、A'U>BVなのでA'S-QA>QB-B'Tより、A'B'=QA'+QB'>A'S+B'T>QA+QB=AB。
以上より、A'B'>ABとなる。)

以上2つの性質から、OA=OBのときにABの長さ(=c)は最小となり、このとき、8角形は正8角形となるので、題意の直角三角形は直角二等辺三角形の時に面積最大となります。