파이썬 비동기 처리

비동기&동기 그리고 블로킹&논블로킹

동시성, 병렬, 비동기, 논블럭킹과 컨셉들

위 용어들은 모두 빠르게 실행하거나, 빠르게 느끼도록 만들때 주로 사용하는 용어들이다. 많은 사람들이 이미 적어놨으나 저도 한번 동참해보겠습니다. 차이가 있다면 되도록 이미지를 많이 사용하여 직관적으로 이해하기 쉽게 만들어보는게 목표. 좋은 이미지를 찾는데는 항상 많은 시간이 소요된다. 또한 풍부한 레퍼런스와 넓은 범위를 다루려 노력했다. 1. 용어 동시성 / 병렬 동시성: 동시에 작업이 실행된 것처럼 보이면 되며(논리적) 병렬: 실제로 동시에 작업이 실행되어야 한다(물리적) 따라서 싱글코어에서 시분할로 나누어 일을 처리하더라도 동시성을 지원한다고 말 할 수 있다. 반대로 싱글코어에서 SIMD를 이용하면 병렬로 작업을 실행할 수 있다. [SIMD (Single Instruction Multiple Dat..

https://black7375.tistory.com/90

JS에서의 비동기 처리

[자바스크립트] 비동기 처리 1부 - Callback

Engineering Blog by Dale Seo

https://www.daleseo.com/js-async-callback/

[자바스크립트] 비동기 처리 2부 - Promise

Engineering Blog by Dale Seo

https://www.daleseo.com/js-async-promise/

[자바스크립트] 비동기 처리 3부 - async/await

Engineering Blog by Dale Seo

https://www.daleseo.com/js-async-async-await/

[JS] 비동기 작업들의 순차실행과 병렬실행

어떤 결과를 만들기 위해 5개의 비동기 작업을 수행해야 한다고 가정해보자. 5개의 작업이 서로 연관되어 있어서 작업을 한 번에 하나씩 끝내야 한다면, 작업을 순차적(sequential)으로 처리해야한다. 하지만 5개의 작업이 서로 연관이 없어서 동시에 5개의 작업을 끝내도 상관이 없다면, 작업을 병렬적(parallel)으로 처리할 수 있다. 1초의 수행시간이 걸리는 비동기 작업을 다음과 같이 만들어보았다. 이 함수는 실행하고 1초 뒤에 task finished!라는 로그를 출력할 것이다. function handleTask(id) { return new Promise(resolve => { setTimeout(() => { console.log(`task${id} finished!`); resolve()..

https://seungtaek-overflow.tistory.com/4

파이썬에서의 비동기 처리

async, await, Coroutine, asyncio

python async def(비동기 함수)

주니어긴 하지만 초년따리도 아니고 항상 동기/비동기 함수에 대해서 들어본 바는 있지만 비동기 함수를 구현했을 때 제대로 이해하지 않고 그냥 비동기가 필요하니까~ 하고 코드 복붙 했던 나를 까면서 이번에 제대로 동기, 비동기 함수를 이해하고 구현한 코드를 이해하고 그리고

https://velog.io/@heyggun/python-async-def비동기-함수

병렬 실행 asyncio.gather()

requests와 aiohttp

파이썬 requests 비동기로 요청하기(aiohttp 및 asyncio 활용)

Python에서 requests 모듈로 get, post 등의 요청을 진행하는 경우가 종종 있는데요. 이번 글에서는 이러한 종류의 요청을 aiohttp 모듈을 통하여 async로 처리하는 방법을 간략하게 정리해보도록 하겠습니다. 일반적인 requests 사용 방법 예시 먼저, 일반적으로 GET 메소드를 requests 모듈로 실행하는 방법은 대략적으로 아래 코드처럼 정리가 가능합니다. import requests response = requests.get('요청 url') if response.status_code == 200: # 요청 성공 print('결과:', response.text) else: # 요청 실패 print('실패 상태 코드:', response.status_code) POST 메소드..

https://jimmy-ai.tistory.com/396

Django에서의 비동기 처리

asgiref.sync_to_async()

[Django] sync_to_async (Feat. ninja)

이전 글에서는 wsgi, asgi에 대해 다루었다. 오늘은 동기 메서드를 코루틴처럼 비동기로 쓸 수 있도록 변환해주는 callable object, asgiref 패키지의 synctoasync에 대해 알아보도록 한다. 🤚 이전 글에서 다뤘던 주요 내용에 대해 다시

https://velog.io/@so-eun/Django-synctoasync-Feat.-ninja

Queryset의 a~ 동작

Celery

Django로 비동기 작업이 필요할 땐 Celery['redis']

redis? celery? 비동기? 동기? 마케팅 플랫폼 작업할 때 비동기적 작업이 필요했다. 비동기는 쓰레드 즉 다중으로 작업을 한번에 처리 가능 한 것(병렬)이고, 동기는 한개씩 직렬 처리 하는 것이다. 비동기가 무조건 좋아 보일 것 같지만 장단점이 존재한다

https://velog.io/@zerowater/Django로-비동기-작업이-필요할-땐-Celeryredis

[Django] - Celery로 비동기 촥촥~

우선 celery는 비동기 작업을 하기 위해 사용하고 있습니다. 이런 비동기 작업이 왜 필요한지 살펴보면 다음과 같습니다.동기는 말 그대로 동시에 일어난다는 뜻입니다. 요청과 그 결과가 동시에 일어난다는 약속인데, 바로 요청을 하면 시간이 얼마나 걸리던지 요청한 자리에

https://velog.io/@odh0112/Django-Celery로-비동기-촥촥

실습: 사진 다운로드 비동기 처리

class Command(BaseCommand):
    help = "google_place_id를 이용해 모든 음식점의 사진을 업데이트 합니다"

    def handle(self, *args, **options):
        restaurants = Restaurant.objects.all()
        for restaurant in restaurants:
            photos = fetch_gmap_photos(restaurant.google_place_id)
            self.process_photos(restaurant, photos)

    def process_photos(self, restaurant, photos):
        for photo_data in photos:
            try:
                photo_uri = fetch_gmap_photo_url(photo_data.get("name"))
                image_name, image_file = self.fetch_photo_file(photo_uri)
                memo = ""
                self.create_review_photo(restaurant, memo, image_name, image_file)

                self.stdout.write(
                    self.style.SUCCESS(
                        f"사진을 추가했습니다({restaurant.__str__()}): [{photo_data.get('widthPx')}x{photo_data.get('heightPx')}]{memo}, {photo_uri}"
                    )
                )
            except Exception as e:
                self.stdout.write(
                    self.style.ERROR(
                        f"사진을 추가하는 중 오류가 발생했습니다({restaurant.__str__()})"
                    )
                )
                self.stdout.write(self.style.ERROR(str(e)))

        self.stdout.write(
            self.style.SUCCESS(
                f"사진{len(photos)}개를 추가했습니다({restaurant.__str__()})"
            )
        )

    def fetch_photo_file(self, photo_url) -> Tuple[str, ContentFile]:
        response = requests.get(photo_url)
        if response.status_code != 200:
            raise Exception(response.json())

        content_disposition = response.headers.get("Content-Disposition")
        image_name = content_disposition.split("filename=")[-1].strip('"')
        return (image_name, ContentFile(response.content))
        
    def create_review_photo(restaurant, memo, image_name, image_file) -> None:
        review_photo = ReviewPhoto.objects.create(
            restaurant=restaurant,
            review=None,
            memo=memo,
        )
        review_photo.photo_file.save(image_name, image_file, save=True)


def fetch_gmap_photo_url(photo_id: str) -> str:
    """
    Places API의 장소 사진 (신규)를 사용하여 사진의 url을 검색합니다.
    """
    if not photo_id:
        raise ValueError("photo_id is empty")

    MAX_WIDTH = 1920  # 최대 가능 너비 4800
    url = f"https://places.googleapis.com/v1/{photo_id}/media"

    response = requests.get(
        url,
        params={
            "key": GOOGLE_MAPS_API_KEY,
            "maxWidthPx": MAX_WIDTH,
            "skipHttpRedirect": True,
        },
    )

    if response.status_code != 200:
        raise Exception(response.json())

    photo_uri = response.json().get("photoUri", "")
    return photo_uri

1. fetch_gmap_photo_url()을 async 함수로 변경

def fetch_gmap_photo_url(photo_id: str) -> str:
    if not photo_id:
        raise ValueError("photo_id is empty")

    MAX_WIDTH = 1920  # 최대 가능 너비 4800
    url = f"https://places.googleapis.com/v1/{photo_id}/media"

    response = requests.get(
        url,
        params={
            "key": GOOGLE_MAPS_API_KEY,
            "maxWidthPx": MAX_WIDTH,
            "skipHttpRedirect": True,
        },
    )

    if response.status_code != 200:
        raise Exception(response.json())

    photo_uri = response.json().get("photoUri", "")
    return photo_uri

async def fetch_gmap_photo_url(photo_id: str) -> str:
    if not photo_id:
        raise ValueError("photo_id is empty")

    MAX_WIDTH = 1920  # 최대 가능 너비 4800
    url = f"https://places.googleapis.com/v1/{photo_id}/media"

    response = requests.get(
        url,
        params={
            "key": GOOGLE_MAPS_API_KEY,
            "maxWidthPx": MAX_WIDTH,
            "skipHttpRedirect": True,
        },
    )

    if response.status_code != 200:
        raise Exception(response.json())

    photo_uri = response.json().get("photoUri", "")
    return photo_uri

def process_photos(self, restaurant, photos):
    ...
    photo_uri = asyncio.run(fetch_gmap_photo_url(photo_data.get("name")))

photo_uri들을 일괄적으로 가져오기

async def fetch_all_photo_urls(self, photos):
    tasks = [fetch_gmap_photo_url(photo_data.get("name")) for photo_data in photos]
    return await asyncio.gather(*tasks)
    
# photo_uri들을 동기적으로 일괄 가져오기
print("동기적으로 가져오기 시작 -----")
photo_urls = [
    fetch_gmap_photo_url_sync(photo_data.get("name"))
    for photo_data in photos
]
print("동기적으로 가져오기 끝 -----")
# photo_uri들을 비동기적으로 일괄 가져오기
print("비동기적으로 가져오기 시작 -----")
photo_urls = asyncio.run(self.fetch_all_photo_urls(photos))
print("비동기적으로 가져오기 끝 -----")