Отказался от библиотеки google-api-python-client, по тому сразу отпали другие библиотеки, и по моему работает два раза быстрей.
Добавил дополнительные флаги для youtube-dl, по тому уже не нужно это:
То есть нужен вот этот патч.
Связи с этим изменил первый пост.