正三角形の頂点を反時計回りにA,B,C、正方形の頂点を反時計回りにP,Q,R,Sとする。
P,Q,R,Sのうち少なくとも3点は辺上にある。
PがAB上,RがBC上, SがCA上にあるとして一般性を失わない。
(yardさんの画像でいうと, 正三角形の上の頂点から反時計回りにA,B,C, 正方形の左上の頂点から反時計回りにP,Q,R,S。浮いている点がQ。)

正方形の1辺の長さを1とする。θ＝∠ASPとする。
PからASに垂線Hを下ろし、三角比を用いてASの長さを計算すると、
AS=AH+HS=sinθ/tan60°+cosθ=sinθ/√3+cosθ.
∠CSR=90°-θなので、同様にSCを計算すると、
SC=sin(90°-θ)/tan60°+cos(90°-θ)=cosθ/√3+sinθ.
よって、
AC=(1+1/√3)(sinθ+cosθ)=(√2+√2/√3)sin(θ+45°)
点Qが外に出ないために∠APS≦90°,∠CRS≦90°に注意すると、θの動く範囲は、30°≦θ≦60°.
この範囲で(√2+√2/√3)sin(θ+45°)は, θ=45°のとき最大値√2+√2/√3,θ=30°,60°のとき最小値(1+1/√3)(sin30°+cos30°)=1+2/√3.
問題になっているのはこの逆数なので、(1)最小値:(3-√3)/(2√2),(2)最大値:2√3-3.

△ABCを底辺CAが水平になるように置きます．
辺BC，CA，AB上に正方形の頂点D，E，Fがあるとします．
正方形のもう一つの頂点Gが△BDFの内部または辺上にあるとして一般性を失いません．
辺CAに垂線DH，FIを下ろすと，△DEH ≡ △EFIなので，DH = EI，IF = HE．
CH = 1/√3 DH = 1/√3 EI，IA = 1/√3 IF = 1/√3 HE．
∴CA = 1/√3 EI + HE + EI + 1/√3 HE = (1 + 1/√3) HIから，正方形の横幅（点D，Fの水平距離）は正三角形の辺の1/(1 + 1/√3) = 1/2 (3 - √3)倍で，一定なことがわかります．

(1)正三角形の一辺の長さに対して正方形の一辺の長さが最小なのは，正方形の横幅に対して対角線DFが最小のときです．
このとき，DFは水平で，正方形の辺は，正三角形の辺の(1/2 (3 - √3))/√2．
∴求める比は2 √2:3 - √3．

(2)正三角形の一辺の長さに対して正方形の一辺の長さが最大なのは，正方形の横幅に対して対角線DFが最大のとき，すなわちDFが水平から最も傾いていて，点Gが辺BD上または辺BF上にあるときです．
GがBD上にあるとすると，HE = √3/2 DE，EI = 1/2 EF = 1/2 DEなので，HI = (√3/2 + 1/2) DE．
∴正方形の辺は，正三角形の辺の(1/2 (3 - √3))/(√3/2 + 1/2) = 2√3 - 3倍．
∴求める比は1:2√3 - 3．