Cómo montar Amazon S3 como unidad para compartir archivos en la nube
En Amazon S3, los datos se almacenan en «buckets», la unidad básica de almacenamiento de datos. Puede configurar los permisos para que los usuarios accedan a los buckets a través de la interfaz web de AWS. Si desea que el acceso a AWS S3 esté disponible sin un navegador web, puede permitir que los usuarios utilicen la interfaz de un sistema operativo como Linux, Windows o macOS.
El acceso al almacenamiento en la nube Amazon S3 desde la línea de comandos puede ser útil en varios escenarios. Esto es especialmente útil con sistemas operativos que no tienen una interfaz gráfica de usuario (GUI), en particular las máquinas virtuales que se ejecutan en una nube pública, y para automatizar tareas como copiar archivos o crear backups de datos en la nube.
Sigue leyendo para aprender a montar el bucket de Amazon S3 como un sistema de archivos en una máquina Linux y como una unidad a un directory local en máquinas Windows y macOS para poder utilizar AWS S3 sin un navegador web.
Cómo montar un bucket de S3 como sistema de archivos en Linux
AWS proporciona una API para trabajar con los buckets de Amazon S3 mediante aplicaciones de terceros. Incluso puedes escribir tu propia aplicación que pueda interactuar con los buckets de S3 utilizando la API de Amazon. Puede crear una aplicación que utilice la misma ruta para subir archivos al almacenamiento en la nube de Amazon S3 y proporcionar la misma ruta en cada equipo montando el bucket de S3 en el mismo directory con S3FS. En este tutorial, utilizamos S3FS para montar un cubo de Amazon S3 como una unidad de disco en un directory Linux.
S3FS es una solución especial basada en FUSE (sistema de archivos en espacio de usuario), desarrollada para montar buckets S3 en directories de sistemas operativos Linux, de forma similar a como se monta un recurso compartido CIFS o NFS como unidad de red. S3FS es una solución gratuita y de código abierto.
Después de montar el almacenamiento en la nube de Amazon S3 con S3FS en su máquina Linux, puede utilizar cp, mv, rm y otros comandos en la consola Linux para operar con archivos como lo hace cuando trabaja con unidades locales o de red montadas.
Vamos a montar un bucket de Amazon S3 en un directorio de Linux directory con Ubuntu 18.04 LTS como ejemplo. En este tutorial se utiliza una instalación nueva de Ubuntu. Puede utilizar el mismo principio para las versiones más recientes.
- Actualiza el árbol de repositorios:
sudo apt-get update - Si hay algún FUSE instalado en su sistema Linux, elimínelo antes de configurar el entorno e instalar fuse-f3fs para evitar conflictos. Como estamos usando una instalación nueva de Ubuntu, no ejecutamos el comando
sudo apt-get remove fusepara eliminar FUSE. - Instale s3fs desde repositorios de software en línea:
sudo apt-get install s3fs - Tienes que generar el ID de la clave de acceso y la clave de acceso secreta en la interfaz web de AWS para tu cuenta (usuario IAM). El usuario IAM debe tener acceso total a S3. Puede utilizar este enlace:
https://console.aws.amazon.com/iam/home?#/security_credentialsNOTA: Se recomienda montar los buckets de Amazon S3 como un usuario normal con permisos restringidos y utilizar usuarios con permisos de administración sólo para generar claves.
- Estas claves son necesarias para acceder a la API de AWS. Debe tener permisos administrativos para generar el ID de la clave de acceso de AWS y la clave de acceso secreta de AWS. Si no tiene suficientes permisos, pida al administrador del sistema que genere las claves de AWS por usted. El administrador puede generar las claves de AWS para una cuenta de usuario en la sección Usuarios de la consola de AWS, en la pestaña Credenciales de seguridad, haciendo clic en el botón Crear clave de acceso.
- En la ventana emergente Crear clave de acceso, haga clic en Descargar archivo .csv o en Mostrar bajo el nombre de la fila Clave de acceso secreta. Este es el único caso en el que se puede ver la clave de acceso secreta en la interfaz web de AWS. Guarde el ID de la clave de acceso de AWS y la clave de acceso secreta en un lugar seguro.
- Puede abrir el archivo CSV descargado que contiene las claves de acceso en Microsoft Office 365 Excel, por ejemplo.
- Vuelve a la consola de Ubuntu para crear un archivo de configuración para almacenar la clave de acceso de AWS y la clave de acceso secreta necesarias para montar un bucket de S3 con S3FS. El comando para hacerlo es:
echo ACCESS_KEY:SECRET_ACCESS_KEY > PATH_TO_FILECambie ACCESS_KEY por su clave de acceso AWS y SECRET_ACCESS_KEY por su clave de acceso secreta.
En este ejemplo, almacenaremos el archivo de configuración con las claves de AWS en el home directory de nuestro usuario. Asegúrese de guardar el archivo con las claves en un lugar seguro al que no tengan acceso personas no autorizadas.
echo AKIA4SK3HPQ9FLWO8AMB:esrhLH4m1Da+3fJoU5xet1/ivsZ+Pay73BcSnzP > ~/.passwd-s3fs - Comprueba si las claves se han escrito en el archivo:
cat ~/.passwd-s3fs - Establezca los permisos correctos para el archivo passwd-s3fs donde se almacenan las claves de acceso:
chmod 600 ~/.passwd-s3fs - Cree el directory (punto de montaje) que se utilizará como punto de montaje para su cubo S3. En este ejemplo, creamos la unidad en la nube de Amazon S3 directory en el directory del usuario de inicio.
mkdir ~/s3-bucketTambién puede utilizar un directory vacío existente.
- El nombre del bucket utilizado en este tutorial es blog-bucket01. El archivo text1.txt se sube a nuestro blog-bucket01 en Amazon S3 antes de montar el bucket en un directorio Linux directory. No se recomienda utilizar un punto (.) en los nombres de los cubos.
- Montemos el cubo. Utilice el siguiente comando para definir el nombre del bucket, la ruta al directory utilizado como punto de montaje y el archivo que contiene la clave de acceso y la clave de acceso secreta de AWS.
s3fs bucket-name /path/to/mountpoint -o passwd_file=/path/passwd-s3fsEn nuestro caso, el comando que utilizamos para montar nuestro cubo es:
s3fs blog-bucket01 ~/s3-bucket -o passwd_file=~/.passwd-s3fs - El cubo está montado. Podemos ejecutar los comandos para comprobar si nuestro bucket(blog-bucket-01) se ha montado en el s3-bucket directory:
mount | grep bucketdf -h | grep bucket - Comprobemos el contenido del directory al que se ha montado el bucket:
ls -al ~/s3-bucketComo se puede ver en la siguiente captura de pantalla, el archivo test1.txt subido a través de la interfaz web antes está presente y se muestra en la salida de la consola.
- Ahora puedes intentar crear un nuevo archivo en tu disco duro y copiar ese archivo al bucket S3 en tu consola Linux.
echo test2 > test2.txtcp test2.txt ~/s3-bucket/ - Actualiza la página web de AWS donde se muestran tus archivos en el bucket. Debería ver el nuevo archivo test2.txt copiado en el bucket S3 en la consola de Linux utilizando el directory en el que está montado el bucket.
Cómo montar automáticamente un bucket S3 en el arranque de Linux
Si quieres configurar el montaje automático de un bucket S3 con S3FS en tu máquina Linux, tienes que crear el archivo passwd-s3fs en /etc/passwd-s3fs, que es la ubicación estándar. Después de crear este archivo, no es necesario utilizar la clave -o passwd_file para establecer manualmente la ubicación del archivo con sus claves de AWS.
- Cree el archivo /etc/passwd-s3fs:
vim /etc/passwd-s3fsNOTA: Si el editor de texto vim aún no ha sido instalado en su Linux, ejecute el comando
apt-get install vimcomando. - Introduzca su clave de acceso AWS y su clave de acceso secreta como se ha explicado anteriormente.
AKIA4SK3HPQ9FLWO8AMB:esrhLH4m1Da+3fJoU5xet1/ivsZ+Pay73BcSnzcP
Como alternativa, puede almacenar las claves en el archivo /etc/passwd-s3fs con el comando:
echo AKIA4SK3HPQ9FLWO8AMB:esrhLH4m1Da+3fJoU5xet1/ivsZ+Pay73BcSnzcP > /etc/passwd-s3fs - Establezca los permisos necesarios para el archivo /etc/passwd-s3fs:
chmod 640 /etc/passwd-s3fs - Edite el archivo de configuración de FUSE:
vim /etc/fuse.conf - Descomenta la cadena user_allow_other si quieres permitir el uso de Amazon S3 para compartir archivos por otros usuarios (usuarios no root) en tu máquina Linux.
- Abra /etc/fstab con un editor de texto:
vim /etc/fstab - Añada la línea al final del archivo:
s3fs#blog-bucket01 /home/user1/s3-bucket/ fuse _netdev,allow_other,url=https://s3.amazonaws.com 0 0
- Guarde el archivo /etc/fstab editado y salga del editor de texto.
Nota: Si desea establecer el propietario y el grupo, puede utilizar los parámetros -o uid=1001 -o gid=1001 -o mp_umask=002 (cambie los valores digitales del id de usuario, id de grupo y umask según su configuración). Si desea activar la caché, utilice el parámetro -ouse_cache=/tmp (establezca un directory personalizado en lugar de /tmp/ si es necesario). Puede establecer el número de veces que se reintentará montar un cubo si éste no se montó inicialmente mediante el parámetro reintentos. Por ejemplo, reintentos=5 establece cinco intentos.
- Reinicie la máquina Ubuntu para comprobar si el cubo S3 se monta automáticamente en el arranque del sistema:
init 6 - Espere a que arranque su máquina Linux.
- Puede ejecutar comandos para comprobar si el cubo de AWS S3 se montó automáticamente en el s3-bucket directory son arranque de Ubuntu.
mount | grep bucket
df -h | grep bucket
ls -al /home/user1/s3-bucket/
En nuestro caso, la unidad S3 de la nube de Amazon se ha montado automáticamente en el directorio de Linux direespecificado en el arranque de Ubuntu (véase la captura de pantalla siguiente). La configuración se ha aplicado correctamente.
S3FS también admite el trabajo con rsync y el almacenamiento en caché de archivos para reducir el tráfico.
Cómo montar el almacenamiento en la nube Amazon S3 en Windows
Puedes probar wins3fs, que es una solución equivalente a S3FS para montar el almacenamiento en la nube Amazon S3 como un disco de red en Windows. Sin embargo, en esta sección, vamos a utilizar rclone. Rclone es una herramienta de línea de comandos que se puede utilizar para montar y sincronizar el almacenamiento en la nube, tales como cubos de Amazon S3, Google Cloud Storage, Google Drive, Microsoft OneDrive, DropBox, y así sucesivamente.
Rclone es una herramienta gratuita de código abierto que puede descargarse desde el sitio web oficial y desde GitHub. Puede descargar la versión necesaria de rclone utilizando uno de estos enlaces:
Utilicemos el enlace direct de la web oficial:
Puede utilizar este flujo de trabajo para las nuevas versiones de rclone después de que se publiquen. Las siguientes acciones se realizan en la interfaz de línea de comandos y pueden ser útiles para los usuarios que utilizan Windows sin GUI en servidores o máquinas virtuales.
- Abra Windows PowerShell como administrador.
- Cree el directory para descargar y almacenar archivos rclone:
mkdir c:\rclone - Ir a la creada directory:
cd c:\rclone - Descargue rclone utilizando el enlace direct mencionado anteriormente. Edite el número de versión en el enlace si descarga otra versión.
Invoke-WebRequest -Uri "https://downloads.rclone.org/v1.51.0/rclone-v1.51.0-windows-amd64.zip" -OutFile "c:\rclone\rclone.zip" - Extrae los ficheros del archivo descargado:
Expand-Archive -path 'c:\rclone\rclone.zip' -destinationpath '.\' - Compruebe el contenido del directory:
dir
- Los archivos se extraen a C:\rclone\rclone-v1.51.0-windows-amd64 en este caso.
NOTA: En este ejemplo, el nombre del directorio rclone diredespués de extraer los archivos es rclone-v1.51.0-windows-amd64. Sin embargo, no se recomienda utilizar puntos (.) en directory names. Puede renombrar el directory a rclone-v1-51-win64, por ejemplo.
- Copiemos los archivos extraídos en C:\rclone\ para evitar puntos en el directory name:
cp C:\rclone\rclone-v1.51.0-windows-amd64\*.* C:\rclone\
- Ejecute rclone en el modo de configuración:
.\rclone.exe config
- El configurador funciona como un asistente en el modo de línea de comandos. Debe seleccionar los parámetros necesarios en cada paso del asistente.
- Escribe n y pulsa Intro para seleccionar la opción Nuevo control remoto.
n/s/q> n
- Introduzca el nombre de su bucket S3:
name> blog-bucket01
- Después de introducir el nombre, seleccione el tipo de almacenamiento en la nube que desea configurar. Escriba 4 para seleccionar el almacenamiento en la nube Amazon S3.
Storage> 4
- Elige tu proveedor de S3. Escriba 1 para seleccionar Amazon Web Services S3.
provider> 1
- Obtener credenciales de AWS del tiempo de ejecución (true o false). Por defecto se utiliza 1 (falso). Pulse Intro sin escribir nada para utilizar el valor por defecto.
env_auth> 1
- Introduzca su clave de acceso AWS:
access_key_id> AKIA4SK3HPQ9FLWO8AMB
- Introduzca su clave de acceso secreta:
secret_access_key> esrhLH4m1Da+3fJoU5xet1/ivsZ+Pay73BcSnzcP
- Región a la que conectarse. EU (Irlanda) eu-west-1 se utiliza para nuestro cubo en este ejemplo y debemos teclear 6.
región> 6
- Punto final para la API de S3. Dejar en blanco si se utiliza AWS para utilizar el endpoint por defecto para la región. Pulsa Intro.
Punto final>
- La restricción de ubicación debe ajustarse a la Región. Teclee 6 para seleccionar la Región UE (Irlanda) \ «eu-west-1».
location_constraint> 6
- ACL enlatada utilizada al crear buckets y almacenar o copiar objetos. Pulse Intro para utilizar los parámetros por defecto.
acl>
- Especifique el algoritmo de cifrado del lado del servidor utilizado al almacenar este objeto en S3. En nuestro caso el cifrado está desactivado, y tenemos que teclear 1 (Ninguno).
cifrado_del_servidor> 1
- Si utiliza KMS ID, debe proporcionar el ARN de la clave. Como no se utiliza cifrado, tipo 1 (Ninguno).
sse_kms_key_id> 1
- Seleccione la clase de almacenamiento que se utilizará al almacenar nuevos objetos en S3. Introduzca un valor de cadena. La opción de clase de almacenamiento estándar(2) es adecuada en nuestro caso.
clase_almacenamiento> 2
- ¿Editar configuración avanzada? (sí/no)
sí/no> n
- Compruebe su configuración y escriba y (sí) si todo es correcto.
t/e/d> y
- Escriba q para salir del asistente de configuración.
e/n/d/r/c/s/q> q
- Rclone está ahora configurado para trabajar con el almacenamiento en la nube Amazon S3. Asegúrese de que tiene los ajustes de fecha y hora correctos en su equipo Windows. De lo contrario, puede producirse un error al montar un cubo S3 como unidad de red en su máquina Windows: La hora puede estar mal configurada. La diferencia entre la hora de solicitud y la hora actual es demasiado grande.
- Ejecute rclone en el directory donde se encuentra rclone.exe y enumere los buckets disponibles para su cuenta de AWS:
.\rclone.exe lsd blog-bucket01:
- Puede introducir c:\rclone en la variable de entorno Path. Permite ejecutar rclone desde cualquier directory sin cambiar al directory donde se almacena rclone.exe.
- Como puede ver en la captura de pantalla anterior, el acceso al almacenamiento en la nube Amazon S3 está configurado correctamente y se muestra una lista de buckets (incluido el blog-bucket01 que se utiliza en este tutorial).
- Instale Chocolately, que es un gestor de paquetes de Windows que puede utilizarse para instalar aplicaciones desde repositorios en línea:
Set-ExecutionPolicy Bypass -Scope Process -Force; `iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1')) - WinFSP (Windows File System Proxy) es el análogo para Windows del FUSE de Linux y es rápido, estable y permite crear sistemas de archivos en modo usuario.
Instale WinFSP desde los repositorios de Chocolatey:
choco install winfsp -y
- Ahora puedes montar tu bucket de Amazon S3 en tu sistema Windows como una unidad de red. Vamos a montar el blog-bucket01 como S:
.\rclone mount blog-bucket01:blog-bucket01/ S: --vfs-cache-mode fullDonde el primer «blog-bucket» es el nombre del bucket introducido en el primer paso del asistente de configuración de rclone y el segundo «blog-bucket» que se define después de «:» es el nombre del bucket de Amazon S3 establecido en la interfaz web de AWS.
- Lista todos los discos y particiones conectados:
gdr -PSProvider 'FileSystem' - Compruebe el contenido de la unidad de red asignada:
ls S: - El cubo S3 se monta ahora como una unidad de red (S:). Puede ver tres archivos txt almacenados en el blog-bucket01 en el almacenamiento en la nube Amazon S3 utilizando otra instancia de Windows PowerShell o la línea de comandos de Windows.
Si su Windows dispone de una interfaz gráfica de usuario, puede utilizarla para descargar y cargar archivos en su almacenamiento en la nube Amazon S3. Si copia un archivo utilizando una interfaz de Windows (una interfaz gráfica de usuario o una interfaz de línea de comandos), los datos se sincronizarán en un momento y verá un archivo nuevo tanto en la interfaz de Windows como en la interfaz web de AWS.
Si pulsas Ctrl+C o cierras la ventana de CMD o PowerShell en la que se está ejecutando rclone («Se ha iniciado el servicio clone» aparece en esa instancia de CMD o PowerShell), tu bucket de Amazon S3 se desconectará del punto de montaje (S: en este caso).
Cómo automatizar el montaje de un cubo S3 en el arranque de Windows
Es conveniente cuando el cubo se monta como una unidad de red automáticamente en el arranque de Windows. Averigüemos cómo configurar el montaje automático del cubo S3 en Windows.
- Cree el archivo rclone-S3.cmd en el directorio C:\rclone directory.
- Añada la cadena al archivo rclone-S3.cmd:
C:\rclone\rclone.exe mount blog-bucket01:blog-bucket01/ S: –vfs-cache-mode full
- Guarde el archivo CMD. Puede ejecutar este archivo CMD en lugar de escribir el comando para montar el cubo S3 manualmente.
- Copie el archivo rclone-S3.cmd en la carpeta de inicio de todos los usuarios:
C:\ProgramData\Microsoft\Windows\Start Menu\Programs\StartUp
- Como alternativa, puede crear un acceso directo a C:\Windows\System32\cmd.ex e y establecer los argumentos necesarios para montar un cubo S3 en las propiedades de destino:
C:\Windows\System32\cmd.exe /k cd c:\rclone & rclone mount blog-bucket01:blog-bucket01/ S: –vfs-cache-mode full
- A continuación, añada el acceso directo editado a la carpeta de inicio de Windows:
C:\ProgramData\Microsoft\Windows\Start Menu\Programs\StartUp
Hay una pequeña desventaja – una ventana de línea de comandos con el mensaje «El servicio rclone se ha iniciado» se muestra después de adjuntar un cubo de S3 a su máquina Windows como una unidad de red. Puedes intentar configurar el montaje automático del bucket S3 utilizando el programador de Windows o NSSM, que es una herramienta gratuita para crear y configurar los servicios de Windows y su inicio automático.
Montaje de cubo S3 como un sistema de archivos en macOS
Puedes montar un bucket de Amazon S3 en macOS del mismo modo que en Linux. Debes instalar S3FS en macOS y configurar los permisos y las claves de Amazon.
En este ejemplo, se utiliza macOS 10.15 Catalina. Puede utilizar este principio de configuración también en versiones más recientes. El nombre del bucket de S3 es blog-bucket01, el nombre de usuario de macOS es user1, y el directory utilizado como punto de montaje para el bucket es /Volumes/s3-bucket/.
Veamos la configuración paso a paso.
- Instalar homebrew, que es un gestor de paquetes para macOS utilizado para instalar aplicaciones desde repositorios de software en línea:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)" - Instalar osxfuse:
brew cask install osxfuse - Reinicie el sistema:
sudo shutdown -r now - Instalar S3FS:
brew install s3fs - Una vez instalado S3FS, configure la clave de acceso y la clave de acceso secreta para su bucket de Amazon S3. Puede definir claves para la sesión actual si necesita montar el cubo una sola vez o si va a montar el cubo con poca frecuencia:
export AWSACCESSKEYID=AKIA4SK3HPQ9FLWO8AMBexport AWSSECRETACCESSKEY=esrhLH4m1Da+3fJoU5xet1/ivsZ+Pay73BcSnzP - Si vas a utilizar un bucket montado con regularidad, establece tus claves de AWS en el archivo de configuración utilizado por S3FS para tu cuenta de usuario de macOS:
echo AKIA4SK3HPQ9FLWO8AMB:esrhLH4m1Da+3fJoU5xet1/ivsZ+Pay73BcSnzP > ~/.passwd-s3fs - Si tiene varios buckets y claves para acceder a los buckets, defínalos en el formato:
echo bucket-name:access-key:secret-key > ~/.passwd-s3fs - Establezca los permisos correctos para permitir el acceso de lectura y escritura sólo para el propietario:
chmod 600 ~/.passwd-s3fs - Crear un directory que se utilizará como punto de montaje para el cubo de Amazon S3:
sudo mkdir -p /Volumes/s3-bucket/ - Su cuenta de usuario debe estar configurada como propietaria para el directory creado:
sudo chown user1 /Volumes/s3-bucket/
- Montar el cubo con S3FS:
s3fs blog-bucket01 /Volumes/s3-bucket/ - La advertencia de seguridad de macOS se muestra en la ventana de diálogo. Haga clic en Abrir Preferencias del Sistema para permitir la aplicación S3FS y las conexiones relacionadas.
- En la ventana Seguridad & Privacidad, haga clic en el candado para realizar cambios y, a continuación, pulse el botón Permitir.
- Ejecute de nuevo el comando de montaje:
s3fs blog-bucket01 /Volumes/s3-bucket/ - Aparece un mensaje de advertencia emergente: Terminal desea acceder a los archivos de un volumen de red.
Haga clic en Aceptar para permitir el acceso.
- Compruebe si se ha montado el cazo:
mount | grep bucket - Comprueba el contenido del cubo:
ls -al /Volumes/s3-bucket/ - El cubo se ha montado correctamente. Puedes ver, copiar y eliminar archivos del cubo.
Puedes intentar configurar el montaje de un bucket S3 en el inicio de sesión del usuario con launchd.
Conclusión
Cuando sepa cómo montar el almacenamiento en la nube Amazon S3 como un sistema de archivos en los sistemas operativos más populares, compartir archivos con Amazon S3 será más cómodo. Un bucket de Amazon S3 puede montarse utilizando S3FS en Linux, macOS y utilizando rclone o wins3fs en Windows. Automatizar el proceso de copia de datos en los buckets de Amazon S3 tras montar los buckets en los directorios locales de su sistema operativo resulta más cómodo que utilizar la interfaz web.
Puede copiar sus datos en Amazon S3 para hacer backups utilizando la interfaz de su sistema operativo. Puede intentar utilizar aplicaciones dedicadas para hacer backups que utilicen las API de AWS para acceder a los buckets de S3. NAKIVO Backup & Replication es una solución completa de protección de datos con compatibilidad integrada con los buckets S3 como objetivos de backup. Puede utilizar la solución para hacer backup de datos en VMware VMs, Hyper-V VMs e instancias EC2 a Amazon S3.
