これは以下のコードで生成されたBitmapです。

これは以下のコードで生成されたBitmapです。

幅と高さが1ピクセル違っています。原因は線の太さです。Graphics.FillRectangleであれば線は関係ないのでそのままの大きさで描画されますが、Graphics.DrawRectangleの場合は線の幅が最低1ピクセルあるのでそのぶんずれてしまいます。このズレは線を太くすることでわかりやすくなります。

太さを3ピクセルにすると6ピクセルのはずの矩形の幅が9ピクセルになってしまいます。

境界部分もふくめて指定した幅、高さの矩形を描画するにはどうすればいいのでしょうか?

以下のコードであれば線の太さを変えても幅と高さは変わりません。幅と高さが線の太さの2倍以下であれば内部は塗りつぶされます。