list_objects_v2를 사용하여 S3에서 1000개 이상의 개체를 가져오는 방법은 무엇입니까?

list_objects_v2를 사용하여 S3에서 1000개 이상의 개체를 가져오는 방법은 무엇입니까?

저는 s3에 50만개 이상의 물건을 가지고 있습니다.저는 각 물체의 크기를 파악하려고 노력하고 있습니다.나는 그것을 위해 다음 파이썬 코드를 사용하고 있습니다.

import boto3

bucket = 'bucket'
prefix = 'prefix'

contents = boto3.client('s3').list_objects_v2(Bucket=bucket,  MaxKeys=1000, Prefix=prefix)["Contents"]

for c in contents:
    print(c["Size"])

하지만 그것은 단지 저에게 상위 1000개의 물체의 크기를 주었습니다.서류상으로는 1,000개 이상은 받을 수 없습니다.제가 그것보다 더 많은 것을 얻을 수 있는 방법이 있습니까?

내장된 boto3Paginator수업은 1000의 기록 한계를 극복하는 가장 쉬운 방법입니다.list-objects-v2이는 다음과 같이 구현할 수 있습니다.

s3 = boto3.client('s3')

paginator = s3.get_paginator('list_objects_v2')
pages = paginator.paginate(Bucket='bucket', Prefix='prefix')

for page in pages:
    for obj in page['Contents']:
        print(obj['Size'])

자세한 내용은 https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Paginator.ListObjectsV2 .

계속 사용응답에 반환된 IsTruncated 값이 false일 때까지 후속 호출에 대한 매개 변수로 응답에 반환된 토큰입니다.

이는 다음과 같은 깔끔한 제너레이터 기능으로 간주할 수 있습니다.

def get_all_s3_objects(s3, **base_kwargs):
    continuation_token = None
    while True:
        list_kwargs = dict(MaxKeys=1000, **base_kwargs)
        if continuation_token:
            list_kwargs['ContinuationToken'] = continuation_token
        response = s3.list_objects_v2(**list_kwargs)
        yield from response.get('Contents', [])
        if not response.get('IsTruncated'):  # At the end of the list?
            break
        continuation_token = response.get('NextContinuationToken')

for file in get_all_s3_objects(boto3.client('s3'), Bucket=bucket, Prefix=prefix):
    print(file['Size'])

사용할 필요가 없는 경우boto3.client사용할 수 있습니다.boto3.resource파일의 전체 목록을 보려면:

s3r = boto3.resource('s3')
bucket = s3r.Bucket('bucket_name')
files_in_bucket = list(bucket.objects.all())

그런 다음 크기를 구하려면 다음과 같이 하십시오.

sizes = [f.size for f in files_in_bucket]

버킷의 크기에 따라 몇 분 정도 걸릴 수 있습니다.

언급URL : https://stackoverflow.com/questions/54314563/how-to-get-more-than-1000-objects-from-s3-by-using-list-objects-v2