Hardware Serial и USB - это разные вещи. У espressif есть чип со встроенным USB host, к которому как раз и подключаются такие вещи как у вас. В последнем SDK под названием IDF 5.х (не путать с Arduino) наконец таки появился нормальный пример работы с этим USB host.
Но судя по тому как вы...