(문*천) (걍의노트 14장) 부울 어레이

[MOON-TAE-CHEON]

부울 어레이를 활용한 논리 연산을 수행할 때, 특히 큰 데이터셋에 대해 연산 속도나 메모리 사용량에 미치는 영향을 고려할 때 어떤 방법이 있을까요? 예를 들어보면, 논리 연산의 결과로 생성되는 부울 배열이 메모리 상에서 큰 용량을 차지할 수 있는데, 이럴 경우 결과 배열을 더 효율적으로 다룰 수 있는 방법이나, 'in-place' 연산을 통해 메모리 사용을 줄이는 기술이 있을까요? 그리고 numpy의 bitwise 연산자(&, |, ~)와 기본 파이썬 연산자(and, or, not) 사이의 성능 차이와 그 활용에서 발생할 수 있는 관점에서의 차이점을 알고 싶습니다.

[Mmmmmmmmin3o]

(김*서)

• in-place 메모리 사용 감소

부울 어레이를 활용할 때 배열을 메모리 효율적으로 하고 싶은 경우, 말씀하신 것 처럼 원본을 바로 수정하는 in-place 연산을 사용할 수 있습니다.

이와 같이 어레이가 3보다 작다면 0으로 바꾸는 방식으로 한다면 필요 없는 데이터는 다른 값으로 변경할 수 있을 것입니다.

불리언 인덱싱 in-place
https://www.geeksforgeeks.org/python/python-replace-negative-value-with-zero-in-numpy-array/

• 부울 어레이 메모리 감소 : numpy.packbits

mask=arr<3
packed=np.packbits(mask)

그 외에는 np.packbits 방식이 있습니다.
메모리 사용량을 기존보다 8배 감소시키며 원본은 훼손하지 않습니다.
단, mask를 생성하는데에도 메모리가 들어가며 압축 방식이기 때문에 사용하기 위해서는 압축을 푸는 np.unpackbits의 과정이 필요합니다.

넘파이 : numpy.packbits
https://numpy.org/doc/2.2/reference/generated/numpy.packbits.html

• 넘파이 논리 연산자와 파이썬 논리 연산자의 성능 차이

넘파이에서 기존 파이썬의 비트 연산자(&,|,~)는 논리 연산자처럼 사용 가능합니다.

넘파이의 논리 연산자와 파이썬 논리연산자 사이의 성능 차이는 스칼라 논리 연산과 ufunc로 벡터화된 배열 연산 지원에 있습니다.

따라서 대규모 데이터 셋에서는 넘파이 비트 연산자가 수십배 이상 빨라질 수 있습니다.

넘파이 논리 연산자 : 단축 표현
https://numpy.org/doc/2.1/reference/generated/numpy.logical_and.html
넘파이와 파이썬 속도 비교
https://rfriend.tistory.com/tag/NumPy%EC%99%80%20Pure%20Python%20%EC%86%8D%EB%8F%84%20%EB%B9%84%EA%B5%90#google_vignette

• 파이썬 논리 연산자의 배열 연산

추가로 파이썬 논리 연산자는 넘파이 어레이에서는 ValueError를, 일반 리스트에서는 리스트 객체 자체의 T/F 평가를 합니다.

이는 파이썬 기본 논리 연산자 and/or은 boolean short-circuit연산이기 때문에 단일 조건의 불리언 값 반환에 적합합니다.

배열은 단일 연산으로 평가가 불가능하기 때문입니다.

파이썬 논리 연산자 : short circuit
https://www.geeksforgeeks.org/python/short-circuiting-techniques-python/

[liganega]

강의노트 내용에 집중합시다!