La solution, sous Ubuntu (et tout les Debian-like), est assez simple, il suffit d'éditer le fichier /etc/NetworkManager/NetworkManager.conf
et d'y ajouter
[keyfile] unmanaged-devices=interface-name:virbr0
Ensuite on redémarre le réseau:
sudo systemctl restart NetworkManager
Cette solution devrait également fonctionner pour toute distribution utilisant NetworkManager.