これって1＞a≧b>0ですか？

はい、そうです。
修正しておきました。

a=q/pとおく。(p,qは公約数を持たない正の整数)
b=np/q
より、0<q/p<np/q<1
∴q<p、np<q、q^2<np^2
∴q/√n<p<q/n(∵１〜４の問題全てn<1)
p≠qより右辺と左辺の差が１以上でないとpは存在できないので、
q/n-q/√n>1
∴q>n(1+√n)/(1-n)

１)はa=2/3,b=3/4

>t.さん
2/3だと0.6666...で無限小数になってしまいます。

おっと見落としていた…考え直します。

分母と分子を両方マイナスにすれば、いくらでも小さく・・
というのを駄目だとすると。

分母には2と5しか素因数を持てないのを踏まえて・・

1)5/8 4/5
2)4/5 15/16
3)512/625 125/128
4)112/125 125/128

最小かどうかは自信なし(特に3)

>>REEさん
大正解です！！分母に２と５しか使えないのがポイントですね。