پردازش تصویر – شمارش لوله ها

میدونستین در تولیدی‌های لوله و اتصالات، برای شمارش لوله‌ها در هر دسته، داخل هر لوله سنگ میذارن؟
چرا سنگ میذارن؟
چون لوله‌ها که کنار هم و روی هم قرار داده می‌شوند، خطای دید ایجاد می‌کنند، برای اینکه دچار خطا نشن، داخل لوله‌های شمرده شده، یک سنگ میذارن، که دوباره نشمارنشون!

در این آموزش، می‌خواهیم با استفاده از یک رزبری پای و تکنیک‌های بینایی ماشین و پردازش تصویر، تعداد لوله‌های موجود در یک فیلم یا تصویر را بشماریم.

این کار هم خیلی سخته هم خیلی زمان زیادی میبره… حدس زدید چی میخوام بگم؟ بله…! با هوش مصنوعی میتونیم این کار رو تا حد بسیار زیادی خودکار کنیم!

ایده کلی اینه که چند فیلتر روی عکس انجام بدیم و لبه‌ها رو پیدا کنیم، بعد از لبه‌های شناسایی شده محدوده‌های به هم پیوسته و محدب رو پیدا کنیم، بعد محاسبه کنیم که این محدوده‌ها چقدر دایره شکل هستند و در نهایت تعداد این دایره شکل‌ها رو محاسبه کنیم.

مثلاً در تصویر زیر به روش Laplacian لبه‌ها تشخیص داده شده:

ابزاری که برای این کار استفاده می‌کنیم، کتابخانه OpenCV و زبان Python هست و همه کدها قابل اجرا به روی Raspberry Pi Zero هستند.

به جای اینکه ایده کلی رو از 0 تا 100 پیاده سازی کنیم و درگیر محاسبات ریاضی بشیم، از توابع آماده OpenCV استفاده می‌کنیم.

روش اول، استفاده از HoughCircles

این تابع از روش Hough Gradient استفاده میکنه، برای تشخیص تعداد لوله ها مراحل زیر رو انجام میدیم:

اول تصویر رو از فایل میخونیم و با تابع cvtColor تصویر رو از RGB به GRAY تبدیل می‌کنیم، چون به اطلاعات رنگ‌ها برای تشخیص لبه‌ها نیازی نداریم.

بعد با استفاده از medianBlur تصویر رو کمی محو می‌کنیم تا نویز کمتر بشه.

حالا میریم سراغ صدا کردن تابع  HoughCircles:

پارامتر اول: تصویر (خاکستری)

پارامتر دوم: متد (HOUGH_GRADIENT)

پارامتر سوم: نسبت معکوس رزولوشن اکومولاتور (جزئی از واحد محاسبه گر متد) به تصویر اصلی

پارامتر چهارم: حداقل فاصله بین دایره ها، اگه این مقدار کم باشه، نتیجه احتمالا اشتباه میشه

پارامتر پنجم: مقداری که به Canny Edge Detector، برای تشخیص لبه ها ارسال میشه

پارامتر ششم: آستانه مرکز دایره ها، هرچه کمتر باشد، خطا بیشتر میشود

پارامتر هفتم: حداقل شعاع دایره

پارامتر هشتم: حداکثر شعاع دایره

در نهایت لیست نقاط مرکز دایره‌ها رو خواهیم داشت که به روی تصویر نمایش میدیم.

import sys
import cv2
import numpy as np


def draw_text(img, text,
font=cv2.FONT_HERSHEY_PLAIN,
pos=(0, 0),
font_scale=3,
font_thickness=2,
text_color=(0, 255, 0),
text_color_bg=(0, 0, 0)
):

x, y = pos
text_size, _ = cv2.getTextSize(text, font, font_scale, font_thickness)
text_w, text_h = text_size
cv2.rectangle(img, pos, (x + text_w, y + text_h), text_color_bg, -1)
cv2.putText(img, text, (x, y + text_h + font_scale - 1),
font, font_scale, text_color, font_thickness)

return text_size


def main(argv):
default_file = '1.jpg'
filename = argv[0] if len(argv) > 0 else default_file
# Loads an image
src = cv2.imread(cv2.samples.findFile(filename), cv2.IMREAD_COLOR)
# Check if image is loaded fine
if src is None:
print('Error opening image!')
print(
'Usage: hough_circle.py [image_name -- default ' + default_file + '] \n')
return -1

gray = cv2.cvtColor(src, cv2.COLOR_BGR2GRAY)

gray = cv2.medianBlur(gray, 5)

rows = gray.shape[0]
circles = cv2.HoughCircles(gray, cv2.HOUGH_GRADIENT, 1, rows / 8,
param1=100, param2=30,
minRadius=1, maxRadius=30)

if circles is not None:
circles = np.uint16(np.around(circles))
draw_text(src, str(len(circles[0, :])), font_scale=4, pos=(
4, 4), text_color_bg=(0, 0, 0))
for i in circles[0, :]:
center = (i[0], i[1])
# circle center
cv2.circle(src, center, 1, (0, 100, 100), 3)
# circle outline
radius = i[2]
cv2.circle(src, center, radius, (255, 0, 255), 3)

cv2.imshow("detected circles", src)
cv2.waitKey(0)

return 0


if __name__ == "__main__":
main(sys.argv[1:])

این روش برای تصویر اولی که در این مقاله آورده شده، تشخیص درستی نمیده (ممکنه با دست‌کاری پارامترها به نتیجه برسیم، اما تا میتونیم باید با دست‌کاری های کمتر نتیجه بگیریم).
ایراد این روش اینه که پارامترهای کمی برای کنترل داره و بیشتر دنبال دایره‌های کامل میگرده و اگه ما شبه-دایره ها رو هم بخواهیم (مثل بیضی) استفاده از این روش کار رو سخت میکنه.
معمولاً بسته به اندازه تصویر و زاویه‌ای که با دوربین عکس‌برداری میشه، دایره‌ها حالت بیضی شکل پیدا می‌کنند یا گاهی قسمتی از لوله‌ها پشت لوله‌های دیگه پنهان میشن.

روش دوم، استفاده از SimpleBlobDetector_create

این تابع برای تشخیص محدوده هاست و از روش Thresholding چندین تصویر 0 و 1 از تصویر اصلی ایجاد میکنه تا تشخیص خودش رو انجام بده.

برای تشخیص تعداد لوله ها مراحل زیر رو انجام میدیم:

اول تصویر رو میخونیم و پارامترهای مورد نیاز تابع رو با استفاده از دستور SimpleBlobDetector_Params ایجاد میکنیم (اینجا نیازی به تبدیل رنگ تصویر نیست و این کار توسط تابع انجام میشه).

با True کردن filterByArea به تابع میگیم که مساحت محدوده ها رو در نظر بگیره و با تنظیم minArea مساحت رو به حداقل مقداری تنظیم میکنیم.

با True کردن filterByCircularity به تابع میگیم که میزان دایره ای شکل بودن محدوده رو در نظر بگیره، و با تنظیم minCircularity که یک عدد اعشاریع، میزان دایره ای شکل بودن محدوده رو تنظیم میکنیم.

با تنظیم minConvexity و minInertiaRatio میزان محدب بودن و میزان حداقل اینرسی (مقاومت به تغییرات) محدوده رو تنظیم می‌کنیم.

در ادامه این پارامترها رو پاس میدیم به تابع SimpleBlobDetector_create تا یک شیء تشخیص دهنده به ما برگردونه.
دستور detect رو بر روی تشخیص دهنده صدا می‌کنیم و به عنوان پارامتر تصویر رو بهش پاس میدیم و محدوده‌های تشخیص داده شده را دریافت می‌کنیم.
محدوده‌های تشخیص داده شده رو با استفاده از تابع drawKeypoints بر روی تصویر نقاشی می‌کنیم.

import cv2
import numpy as np


def draw_text(img, text,
font=cv2.FONT_HERSHEY_PLAIN,
pos=(0, 0),
font_scale=3,
font_thickness=2,
text_color=(0, 255, 0),
text_color_bg=(0, 0, 0)
):

x, y = pos
text_size, _ = cv2.getTextSize(text, font, font_scale, font_thickness)
text_w, text_h = text_size
cv2.rectangle(img, pos, (x + text_w, y + text_h), text_color_bg, -1)
cv2.putText(img, text, (x, y + text_h + font_scale - 1),
font, font_scale, text_color, font_thickness)

return text_size


# Load image
image = cv2.imread('1.jpg', 0)

# Set our filtering parameters
# Initialize parameter settiing using cv2.SimpleBlobDetector
params = cv2.SimpleBlobDetector_Params()

# Set Area filtering parameters
params.filterByArea = True
params.minArea = 50

# Set Circularity filtering parameters
params.filterByCircularity = True
params.minCircularity = 0.5

# Set Convexity filtering parameters
params.filterByConvexity = True
params.minConvexity = 0.5

# Set inertia filtering parameters
params.filterByInertia = True
params.minInertiaRatio = 0.01

# Create a detector with the parameters
detector = cv2.SimpleBlobDetector_create(params)

# Detect blobs
keypoints = detector.detect(image)

# Draw blobs on our image as red circles
blank = np.zeros((1, 1))
blobs = cv2.drawKeypoints(image, keypoints, blank, (0, 0, 255),
cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

draw_text(blobs, str(len(keypoints)), font_scale=4,
pos=(4, 4), text_color_bg=(0, 0, 0))

# Show blobs
cv2.imshow("Filtering Circular Blobs Only", blobs)
cv2.waitKey(0)
cv2.destroyAllWindows()

تمامی این کدها بر روی Raspberry Pi تست شده و به خوبی اجرا میشه.

منبع:سیسوگ