VirtualMachineの作成時にパブリックIPは指定できるが、ネットワークインターフェースは指定できない様子。
Azure側で自動作成されたネットワークインターフェース名がついてしまう・・・。Azure嫌い

ネットワークインターフェースは、VirtualMachineの作成後に変更可能でした。(これで好きに命名できる)

順序は以下の通り
①VirtualMachineの停止
②新規ネットワークインターフェースの接続(追加)
③既存ネットワークインターフェースのデタッチ
④既存ネットワークインターフェースとパブリックIPの関連解除
⑤新規ネットワークインターフェースとパブリックIPの関連付け