Subir los archivos mas rápidos a Cloud Storage

Usando la opción "-m" para subida en  paralelo del comando  de gsutil

 Publicado en 2017 dic 01 por Guillaume Laforge One min read

Para nuestro primer consejo hacia 2018, echaremos un vistazo rápido a Google Cloud Storage. Con GCS, para abreviar, puede usar la utilidad de línea de comandos gsutil para cargar fácilmente todos sus archivos y datos en la nube.

Hay diferentes niveles de clases de almacenamiento, como multirregionales, regionales, nearline o coldline. Independientemente del nivel que elija, siempre que necesite cargar una gran cantidad de archivos desde su máquina, puede tomar un poco de tiempo cargar archivos.

Al subir un solo archivo, puede hacer:

$ gsutil cp file1.txt gs://my-text-notes

Con varios archivos, puede usar algunos opciones:

$ gsutil cp *.txt gs://my-text-notes

Ahora, imaginemos que tiene miles de archivos de texto, en realidad podría llevar algo de tiempo cargarlos, ya que los archivos se envían individualmente, en serie, uno tras otro. Pero, afortunadamente, este es nuestro primer truco: el indicador -m, para enviar archivos en paralelo. Ahora usemos nuestra opción mágica y carguemos archivos de forma paralela con:

$ gsutil -m cp *.txt gs://my-text-notes