반응형
아마존 s3 버킷에서 파일을 삭제하는 방법?
아마존 s3 버킷에서 필요한 파일을 삭제할 python 코드를 작성해야 합니다.아마존 s3 버킷에 연결할 수 있고 파일 저장도 가능한데 어떻게 파일을 삭제할 수 있나요?
사용.boto3(현재 버전 1.4.4) 를 사용합니다.
import boto3
s3 = boto3.resource('s3')
s3.Object('your-bucket', 'your-key').delete()
Python boto3 SDK(AWS에 대해 자격 증명이 설정되어 있다고 가정)를 사용하면 다음과 같이 버킷의 지정된 개체가 삭제됩니다.
import boto3
client = boto3.client('s3')
client.delete_object(Bucket='mybucketname', Key='myfile.whatever')
보토를 이용한 방법을 하나 더 찾았습니다.
from boto.s3.connection import S3Connection, Bucket, Key
conn = S3Connection(AWS_ACCESS_KEY, AWS_SECERET_KEY)
b = Bucket(conn, S3_BUCKET_NAME)
k = Key(b)
k.key = 'images/my-images/'+filename
b.delete_key(k)
2020년에 오신 것을 환영합니다. Python/Django로 답변해 드리겠습니다.
from django.conf import settings
import boto3
s3 = boto3.client('s3')
s3.delete_object(Bucket=settings.AWS_STORAGE_BUCKET_NAME, Key=f"media/{item.file.name}")
답을 찾는데 너무 오랜 시간이 걸렸고 이처럼 간단했습니다.
이 코드를 사용해보세요.
import boto3
s3 = boto3.client('s3')
s3.delete_object(Bucket="s3bucketname", Key="s3filepath")
Bto3는 수시로 바뀔 수 있으니 업데이트된 방법을 찾아보세요.my_bucket.delete_objects():
import boto3
from boto3.session import Session
session = Session(aws_access_key_id='your_key_id',
aws_secret_access_key='your_secret_key')
# s3_client = session.client('s3')
s3_resource = session.resource('s3')
my_bucket = s3_resource.Bucket("your_bucket_name")
response = my_bucket.delete_objects(
Delete={
'Objects': [
{
'Key': "your_file_name_key" # the_name of_your_file
}
]
}
)
이렇게 쉬운 방법이 없다니 놀랍군요.key.delete():
from boto.s3.connection import S3Connection, Bucket, Key
conn = S3Connection(AWS_ACCESS_KEY, AWS_SECERET_KEY)
bucket = Bucket(conn, S3_BUCKET_NAME)
k = Key(bucket = bucket, name=path_to_file)
k.delete()
아래는 버킷을 삭제하는 데 사용할 수 있는 코드 조각입니다.
import boto3, botocore
from botocore.exceptions import ClientError
s3 = boto3.resource("s3",aws_access_key_id='Your-Access-Key',aws_secret_access_key='Your-Secret-Key')
s3.Object('Bucket-Name', 'file-name as key').delete()
의 기능을 사용합니다.
한 개 또는 여러 개의 파일을 한 번에 삭제할 수 있습니다.
import s3fs
file_system = s3fs.S3FileSystem()
file_system.rm('s3://my-bucket/foo.txt') # single file
files = ['s3://my-bucket/bar.txt', 's3://my-bucket/baz.txt']
file_system.rm(files) # several files
s3 bucket에서 몇 줄의 코드로 간단하게 모든 파일을 삭제하고 싶다면 이것을 사용합니다.
import boto3
s3 = boto3.resource('s3', aws_access_key_id='XXX', aws_secret_access_key= 'XXX')
bucket = s3.Bucket('your_bucket_name')
bucket.objects.delete()
어떤 인터페이스를 통해서?REST 인터페이스를 사용하면 다음과 같이 삭제를 전송할 수 있습니다.
DELETE /ObjectName HTTP/1.1
Host: BucketName.s3.amazonaws.com
Date: date
Content-Length: length
Authorization: signatureValue
SOAP 인터페이스를 통해:
<DeleteObject xmlns="http://doc.s3.amazonaws.com/2006-03-01">
<Bucket>quotes</Bucket>
<Key>Nelson</Key>
<AWSAccessKeyId> 1D9FVRAYCP1VJEXAMPLE=</AWSAccessKeyId>
<Timestamp>2006-03-01T12:00:00.183Z</Timestamp>
<Signature>Iuyz3d3P0aTou39dzbqaEXAMPLE=</Signature>
</DeleteObject>
만약 당신이 보토와 같은 파이썬 라이브러리를 사용한다면, 그것은 "삭제" 기능을 노출할 것입니다.
2021년 업데이트 - 나는 이것에 대해 힘든 시간을 보냈지만 그것은 하는 것만큼 간단했습니다.
def delete_object(self,request):
s3 = boto3.resource('s3',
aws_access_key_id=AWS_UPLOAD_ACCESS_KEY_ID,
aws_secret_access_key= AWS_UPLOAD_SECRET_KEY,
)
s3.Object('your-bucket', 'your-key}').delete()
bot3 리소스에 자격 증명을 추가해야 합니다.
가장 간단한 방법은 다음과 같습니다.
import boto3
s3 = boto3.resource("s3")
bucket_source = {
'Bucket': "my-bcuket",
'Key': "file_path_in_bucket"
}
s3.meta.client.delete(bucket_source)
이게 제가 한 방법입니다.
"""
This is module which contains all classes related to aws S3
"""
"""
awshelper.py
-------
This module contains the AWS class
"""
try:
import re
import os
import json
import boto3
import datetime
import uuid
import math
from boto3.s3.transfer import TransferConfig
import threading
import sys
from tqdm import tqdm
except Exception as e:
print("Error : {} ".format(e))
DATA = {
"AWS_ACCESS_KEY": "XXXXXXXXXXXX",
"AWS_SECRET_KEY": "XXXXXXXXXXXXX",
"AWS_REGION_NAME": "us-east-1",
"BUCKET": "XXXXXXXXXXXXXXXXXXXX",
}
for key, value in DATA.items():os.environ[key] = str(value)
class Size:
@staticmethod
def convert_size(size_bytes):
if size_bytes == 0:
return "0B"
size_name = ("B", "KB", "MB", "GB", "TB", "PB", "EB", "ZB", "YB")
i = int(math.floor(math.log(size_bytes, 1024)))
p = math.pow(1024, i)
s = round(size_bytes / p, 2)
return "%s %s" % (s, size_name[i])
class ProgressPercentage(object):
def __init__(self, filename, filesize):
self._filename = filename
self._size = filesize
self._seen_so_far = 0
self._lock = threading.Lock()
def __call__(self, bytes_amount):
def convertSize(size):
if (size == 0):
return '0B'
size_name = ("B", "KB", "MB", "GB", "TB", "PB", "EB", "ZB", "YB")
i = int(math.floor(math.log(size,1024)))
p = math.pow(1024,i)
s = round(size/p,2)
return '%.2f %s' % (s,size_name[i])
# To simplify, assume this is hooked up to a single filename
with self._lock:
self._seen_so_far += bytes_amount
percentage = (self._seen_so_far / self._size) * 100
sys.stdout.write(
"\r%s %s / %s (%.2f%%) " % (
self._filename, convertSize(self._seen_so_far), convertSize(self._size),
percentage))
sys.stdout.flush()
class ProgressPercentageUpload(object):
def __init__(self, filename):
self._filename = filename
self._size = float(os.path.getsize(filename))
self._seen_so_far = 0
self._lock = threading.Lock()
def __call__(self, bytes_amount):
# To simplify, assume this is hooked up to a single filename
with self._lock:
self._seen_so_far += bytes_amount
percentage = (self._seen_so_far / self._size) * 100
sys.stdout.write(
"\r%s %s / %s (%.2f%%)" % (
self._filename, self._seen_so_far, self._size,
percentage))
sys.stdout.flush()
class AWSS3(object):
"""Helper class to which add functionality on top of boto3 """
def __init__(self, bucket, aws_access_key_id, aws_secret_access_key, region_name):
self.BucketName = bucket
self.client = boto3.client(
"s3",
aws_access_key_id=aws_access_key_id,
aws_secret_access_key=aws_secret_access_key,
region_name=region_name,
)
def get_length(self, Key):
response = self.client.head_object(Bucket=self.BucketName, Key=Key)
size = response["ContentLength"]
return {"bytes": size, "size": Size.convert_size(size)}
def put_files(self, Response=None, Key=None):
"""
Put the File on S3
:return: Bool
"""
try:
response = self.client.put_object(
ACL="private", Body=Response, Bucket=self.BucketName, Key=Key
)
return "ok"
except Exception as e:
print("Error : {} ".format(e))
return "error"
def item_exists(self, Key):
"""Given key check if the items exists on AWS S3 """
try:
response_new = self.client.get_object(Bucket=self.BucketName, Key=str(Key))
return True
except Exception as e:
return False
def get_item(self, Key):
"""Gets the Bytes Data from AWS S3 """
try:
response_new = self.client.get_object(Bucket=self.BucketName, Key=str(Key))
return response_new["Body"].read()
except Exception as e:
print("Error :{}".format(e))
return False
def find_one_update(self, data=None, key=None):
"""
This checks if Key is on S3 if it is return the data from s3
else store on s3 and return it
"""
flag = self.item_exists(Key=key)
if flag:
data = self.get_item(Key=key)
return data
else:
self.put_files(Key=key, Response=data)
return data
def delete_object(self, Key):
response = self.client.delete_object(Bucket=self.BucketName, Key=Key,)
return response
def get_all_keys(self, Prefix="", max_page_number=100):
"""
:param Prefix: Prefix string
:return: Keys List
"""
try:
paginator = self.client.get_paginator("list_objects_v2")
pages = paginator.paginate(Bucket=self.BucketName, Prefix=Prefix)
tmp = []
for page_no, page in enumerate(pages):
if page_no >max_page_number:break
print("page_no : {}".format(page_no))
for obj in page["Contents"]:
tmp.append(obj["Key"])
return tmp
except Exception as e:
return []
def print_tree(self):
keys = self.get_all_keys()
for key in keys:
print(key)
return None
def find_one_similar_key(self, searchTerm=""):
keys = self.get_all_keys()
return [key for key in keys if re.search(searchTerm, key)]
def __repr__(self):
return "AWS S3 Helper class "
def download_file_locally(self, key, filename):
try:
response = self.client.download_file(
Bucket=self.BucketName,
Filename=filename,
Key=key,
Callback=ProgressPercentage(filename,
(self.client.head_object(Bucket=self.BucketName,
Key=key))["ContentLength"]),
Config=TransferConfig(
max_concurrency=10,
use_threads=True,
)
)
return True
except Exception as e:
print("Error Download file : {}".format(e))
return False
def upload_files_from_local(self, file_name, key):
try:
response = self.client.upload_file(
Filename=file_name,
Bucket=self.BucketName ,
Key = key,
Callback=ProgressPercentageUpload(file_name),
Config=TransferConfig(
max_concurrency=10,
use_threads=True,
))
return True
except Exception as e:
print("Error upload : {} ".format(e))
return False
def batch_objects_delete_threadded(batch_size=50, max_page_size=100):
helper_qa = AWSS3(
aws_access_key_id=os.getenv("AWS_ACCESS_KEY"),
aws_secret_access_key=os.getenv("XXXXXXXXXXXXX"),
region_name=os.getenv("AWS_REGION_NAME"),
bucket=os.getenv("BUCKET"),
)
keys = helper_qa.get_all_keys(Prefix="database=XXXXXXXXXXX/", max_page_number=max_page_size)
MainThreads = [threading.Thread(target=helper_qa.delete_object, args=(key, )) for key in keys]
print("Length: keys : {} ".format(len(keys)))
for thread in tqdm(range(0, len(MainThreads), batch_size)):
for t in MainThreads[thread: thread + batch_size]:t.start()
for t in MainThreads[thread: thread + batch_size] : t.join()
# ==========================================
start = datetime.datetime.now()
batch_objects_delete_threadded()
end = datetime.datetime.now()
print("Execution Time : {} ".format(end-start))
# ==========================================
지금은 리눅스 유틸리티 s3cmd를 사용하여 문제를 해결하였습니다.Python에서 이렇게 사용했습니다.
delFile = 's3cmd -c /home/project/.s3cfg del s3://images/anon-images/small/' + filename
os.system(delFile)
제가 해봤는데 효과가 있어요.
import boto
import sys
from boto.s3.key import Key
import boto.s3.connection
AWS_ACCESS_KEY_ID = '<access_key>'
AWS_SECRET_ACCESS_KEY = '<secret_access_key>'
Bucketname = 'bucket_name'
conn = boto.s3.connect_to_region('us-east-2',
aws_access_key_id=AWS_ACCESS_KEY_ID,
aws_secret_access_key=AWS_SECRET_ACCESS_KEY,
is_secure=True,
calling_format = boto.s3.connection.OrdinaryCallingFormat(),
)
bucket = conn.get_bucket(Bucketname)
k = Key(bucket)
k.key = 'filename to delete'
bucket.delete_key(k)
자신의 로컬 호스트 콘솔을 사용하여 파일을 삭제하려고 하면 시스템에 액세스 ID와 비밀 키가 이미 할당되어 있다고 가정하여 이 python 스크립트를 실행해 볼 수 있습니다.
import boto3
#my custom sesssion
aws_m=boto3.session.Session(profile_name="your-profile-name-on-local-host")
client=aws_m.client('s3')
#list bucket objects before deleting
response = client.list_objects(
Bucket='your-bucket-name'
)
for x in response.get("Contents", None):
print(x.get("Key",None));
#delete bucket objects
response = client.delete_object(
Bucket='your-bucket-name',
Key='mydocs.txt'
)
#list bucket objects after deleting
response = client.list_objects(
Bucket='your-bucket-name'
)
for x in response.get("Contents", None):
print(x.get("Key",None));
cloudpathlib 싸다boto3인터페이스에서 로컬 파일을 사용하는 것만큼 이와 같은 작업을 쉽게 수행할 수 있습니다.
첫번째로, 인증을 제대로 받아야 합니다.~/.aws/credentials파일 또는 환경 변수를 설정합니다.클라우드 경로lib 문서에서 더 많은 옵션을 참조하십시오.
그다음에.unlinkpathlib에서와 같은 메소드입니다.디렉토리의 경우 클라우드 패스리브는 다음과 같은 기능을 제공합니다.rmtree방법.
from cloudpathlib import CloudPath
# create a few files to work with
cl1 = CloudPath("s3://test-bucket/so/test_dir/f1.txt")
cl2 = CloudPath("s3://test-bucket/so/test_dir/f2.txt")
cl3 = CloudPath("s3://test-bucket/so/test_dir/f3.txt")
# write content to these files
cl1.write_text("hello file 1")
cl2.write_text("hello file 2")
cl3.write_text("hello file 3")
# show these file exist on S3
list(CloudPath("s3://test-bucket/so/test_dir/").iterdir())
#> [ S3Path('s3://test-bucket/so/test_dir/f1.txt'),
#> S3Path('s3://test-bucket/so/test_dir/f2.txt'),
#> S3Path('s3://test-bucket/so/test_dir/f3.txt')]
# remove a single file with `unlink`
cl1.unlink()
list(CloudPath("s3://test-bucket/so/test_dir/").iterdir())
#> [ S3Path('s3://test-bucket/so/test_dir/f2.txt'),
#> S3Path('s3://test-bucket/so/test_dir/f3.txt')]
# remove a directory with `rmtree`
CloudPath("s3://test-bucket/so/test_dir/").rmtree()
# no more files
list(CloudPath("s3://test-bucket/so/").iterdir())
#> []
S3의 폴더에서 파일 삭제
client = boto3.client('s3')
response = client.list_objects(
Bucket='bucket_name',
Prefix='folder_name/'
)
obj_list = []
for data in response.get('Contents', []):
print('res', data.get('Key'))
obj_list.append({'Key': data.get('Key')})
if obj_list:
response = client.delete_objects(
Bucket='buket_name',
Delete={'Objects': obj_list}
)
print('response', response)
aws cli : https://aws.amazon.com/cli/ 및 일부 unix 명령을 사용하여 수행할 수 있습니다.
다음 aWS cli 명령이 작동해야 합니다.
aws s3 rm s3://<your_bucket_name> --exclude "*" --include "<your_regex>"
하위 폴더를 포함하려면 플래그를 추가해야 합니다. --
또는 unix 명령을 사용합니다.
aws s3 ls s3://<your_bucket_name>/ | awk '{print $4}' | xargs -I% <your_os_shell> -c 'aws s3 rm s3:// <your_bucket_name> /% $1'
설명:
- 버킷의 모든 파일을 나열합니다 --pipe-->
- 4번째 매개 변수(파일 이름) --pipe--> // 패턴에 맞게 linux 명령으로 대체할 수 있습니다.
- awscli를 사용하여 삭제 스크립트 실행
는 다음과 것들이 효과가 모델의 할 수 있습니다.(, )delete독자적인 방법).
import boto3
from boto3.session import Session
from django.conf import settings
class Video(models.Model):
title=models.CharField(max_length=500)
description=models.TextField(default="")
creation_date=models.DateTimeField(default=timezone.now)
videofile=models.FileField(upload_to='videos/', null=True, verbose_name="")
tags = TaggableManager()
actions = ['delete']
def __str__(self):
return self.title + ": " + str(self.videofile)
def delete(self, *args, **kwargs):
session = Session (settings.AWS_ACCESS_KEY_ID, settings.AWS_SECRET_ACCESS_KEY)
s3_resource = session.resource('s3')
s3_bucket = s3_resource.Bucket(settings.AWS_STORAGE_BUCKET_NAME)
file_path = "media/" + str(self.videofile)
response = s3_bucket.delete_objects(
Delete={
'Objects': [
{
'Key': file_path
}
]
})
super(Video, self).delete(*args, **kwargs)
자격 증명과 S3 연결
import boto3
import pandas as pd
import io
s3 = boto3.resource('s3', endpoint_url='',
aws_access_key_id = '',
aws_secret_access_key = '')
기존 키 삭제
s3.Object('BUCKET_NAME', 'FILE_NAME_AS_KEY').delete()
언급URL : https://stackoverflow.com/questions/3140779/how-to-delete-files-from-amazon-s3-bucket
반응형
'programing' 카테고리의 다른 글
| Oracle을 사용한 Django ORM의 성능 저하 (0) | 2023.10.09 |
|---|---|
| 문자열을 더블로 변환하면 리터럴 더블과 같습니까? (0) | 2023.10.09 |
| MySQL에 이미지를 저장할 PHP인가요, 아닌가요? (0) | 2023.10.09 |
| Float 및 Double의 빠른 곱셈/2 나누기(C/C++) (0) | 2023.10.09 |
| 파싱하는 방법Int in Angular.js (0) | 2023.10.09 |