FormatNumberで、桁数を固定にしたい

ＪＡＶＡのFormatNumberを使って、 次のようなことがしたいですが可能でしょうか？ 文字数を固定する。 例えば ５文字にしたい時 123.4567->123.4 12.3456 ->12.34 1.234567->1.234 0.12345 ->0.123 0.0123 ->0.012 のようにしたいのです。 どうやって指定すればいいでしょうか？ マイナスは-123.4とかで、一文字追加してもいいです。 よろしくお願いします。