• 제목/요약/키워드: robotic vision

검색결과 126건 처리시간 0.022초

원격 로봇 조작을 위한 비젼 시스템 (A Vision System for Robotic Teleoperation)

  • 윤병현;최강선
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.593-595
    • /
    • 2019
  • 원격지의 로봇을 조작함에 있어, 원격지의 상황을 정확히 인식하는 것이 우선적으로 필요하다. 본 연구에서는 로봇에 설치된 스테레오 카메라를 통해 입력된 비디오를 네트워크를 통해 전달하고, 조작 공간에 있는 사용자가 Head Mounted Display(HMD) 기기를 통해 원격지의 상황을 현장감 있게 파악할 수 있는 비전 시스템을 구현했다. 로봇 내 S/W의 효과적인 통합을 위해 카메라 입력 처리 및 비디오 스트리밍은 Ubuntu의 ROS를 이용하여 구현됐으며, 조작 공간의 HMD 기기 및 관련 조작 센서 통합은 Windows 상에 구현하여, 실험을 통해 원격지의 상황을 25fps 수준의 HD 해상도 비디오로 확인할 수 있었다.

로봇시스템에서 작은 마커 인식을 하기 위한 사물 감지 어텐션 모델 (Small Marker Detection with Attention Model in Robotic Applications)

  • 김민재;문형필
    • 로봇학회논문지
    • /
    • 제17권4호
    • /
    • pp.425-430
    • /
    • 2022
  • As robots are considered one of the mainstream digital transformations, robots with machine vision becomes a main area of study providing the ability to check what robots watch and make decisions based on it. However, it is difficult to find a small object in the image mainly due to the flaw of the most of visual recognition networks. Because visual recognition networks are mostly convolution neural network which usually consider local features. So, we make a model considering not only local feature, but also global feature. In this paper, we propose a detection method of a small marker on the object using deep learning and an algorithm that considers global features by combining Transformer's self-attention technique with a convolutional neural network. We suggest a self-attention model with new definition of Query, Key and Value for model to learn global feature and simplified equation by getting rid of position vector and classification token which cause the model to be heavy and slow. Finally, we show that our model achieves higher mAP than state of the art model YOLOr.

다빈치 수술로봇을 이용한 심장수술 20예 보고 - 단일 기관 보고 - (The First 20 Cases of Cardiac Surgery Using the da $Vinci^{TM}$ Surgical System: A Single Center Experience)

  • 제형곤;이용직;정성호;정재승;강필제;주석중;송현;정철현;이재원
    • Journal of Chest Surgery
    • /
    • 제41권4호
    • /
    • pp.423-429
    • /
    • 2008
  • 배경: 최근 수술 로봇을 이용한 심장수술에 대한 관심이 증가하고 있으나, 이에 대한 임상연구는 제한적이다. 본 연구는 2007년 8월부터 저자들에 의해 시행된 다빈치 수술 로봇을 이용한 심장수술의 조기 임상 경험을 보고하고, 로봇 심장수술 실현성 및 안정성을 살펴보고자 하였다. 대상 및 방법: 2007년 8월부터 12월까지 총 20명의 환자에게 다빈치 수술로봇을 이용한 심장수술을 시행하였다. 승모판막 질환(n=11), 삼첨판막 질환(n=1), 심방중격결손증(n=1)의 수술시에는 우측 대퇴 동정맥 및 우측 내경정맥을 이용한 말초 삽관 후 체외 순환을 시행하였고, 전방성 심정지액 투입 및 흘곽의 늑간을 통한 대동맥 겸자를 시행한 후 개심술을 시행하였다. 7명의 환자에서 최소 침습적 관상동맥 우회술(MIDCAB)을 시행하기 위하여 다빈치 수술로봇을 이용하여 좌측 혹은 양측 내흉동맥을 박리하였다. 결과: 환자의 평균 나이는 $50.1{\pm}15.1$세($26{\sim}78$)였으며, 11예의 승모판막 성형술시 3예의 Maze 수술 및 1예의 삼첨판막 성형술이 동반되었다. 평균 체외순환시간은 $208.0{\pm}61.3$분, 평균대동맥 차단시간은 $158.8{\pm}40.6$분이었다. 승모판막 성형술 후 2도를 초과하는 잔존하는 승모판막 역류는 없었으며 수술 후 재원 기간의 중간값은 4일이었다. 다빈치 수술로봇을 이용한 내흉동맥의 박리는 6명의 환자에서 좌측 내흉동맥을 박리하였고, 1명의 환자에서 양측 내흉동맥을 박리하였으며 평균 내흉동맥 박리 시간은 $43.2{\pm}12.0$분이었다. 박리된 내흉동맥은 양호한 혈류를 보였으며, 좌전 개흉술 후 직접시하에서 문합을 시행하였다. MIDCAB으로 시행한 문합의 개통률은 100% (18/18)였다. 결론: 다빈치 수술로봇을 이용한 심장수술은 승모판막 성형술, 삼첨판막 성형술, 심방중격 결손의 교정 및 관상동맥 우회술을 위한 내흉동맥의 박리 등에서 다양하게 적용되었으며, 비교적 안전하고 만족할만한 조기성적을 보였다. 본 연구를 계기로 국내에서도 다빈치 수술로봇을 이용한 심장수술의 임상적용 및 임상연구가 활발하게 진행될 것을 기대한다.

스마트 웰니스 로봇 플랫폼 개발에 관한 연구 (A Study on Development of a Smart Wellness Robot Platform)

  • 이병수;김승우
    • 한국산학기술학회논문지
    • /
    • 제17권1호
    • /
    • pp.331-339
    • /
    • 2016
  • 본 논문에서는 노령화 사회에서 노인들의 기본 건강과 생활을 케어 할 수 있는 홈 웰니스 로봇 플랫폼을 개발한다. 실내 환경에서 웰니스 서비스에 초점을 맞추어 로봇 및 센서 플랫폼을 구현한다. 로봇플랫폼에서는 정밀제어 이동기능과 정교한 로봇 팔 및 핸드를 개발하고 인간친화형 로봇구조로 설계되어진다. 이동로봇은 옴니휠 기반의 쾌속 시스템으로 제어된다. 로봇팔은 섬세한 조작기능을 수행할 수 있도록 인간의 팔과 유사한 구조로 구현한다. 센서 플랫폼에서는 RF태그와 스테레오 카메라를 활용하여 로봇자신과 대상물체의 위치 인식시스템을 구축한다. 정확한 위치와 자세 인식을 위하여 센서 융합 알고리즘이 제안된다. 끝으로 웰니스 로봇 플랫폼의 좋은 성능들이 실시간 시험 구동을 통하여 확인되어 진다.

용접선 추적을 위한 최적화 알고리즘 개발에 관한 연구 (A Study on Development of the Optimization Algorithms to Find the Seam Tracking)

  • 진병주;이종표;박민호;김도형;우치엔치엔;김일수;손준식
    • Journal of Welding and Joining
    • /
    • 제34권2호
    • /
    • pp.59-66
    • /
    • 2016
  • The Gas Metal Arc(GMA) welding, called Metal Inert Gas(MIG) welding, has been an important component in manufacturing industries. A key technology for robotic welding processes is seam tracking system, which is critical to improve the welding quality and welding capacities. The objectives of this study were to develop the intelligent and cost-effective algorithms for image processing in GMA welding which based on the laser vision sensor. Welding images were captured from the CCD camera and then processed by the proposed algorithm to track the weld joint location. The proposed algorithms that commonly used at the present stage were verified and compared to obtain the optimal one for each step in image processing. Finally, validity of the proposed algorithms was examined by using weld seam images obtained with different welding environments for image processing. The results proved that the proposed algorithm was quite excellent in getting rid of the variable noises to extract the feature points and centerline for seam tracking in GMA welding and could be employed for general industrial application.

Integration of Optimality, Neural Networks, and Physiology for Field Studies of the Evolution of Visually-elicited Escape Behaviors of Orthoptera: A Minireview and Prospects

  • Shin, Hong-Sup;Jablonski, Piotr G.
    • Journal of Ecology and Environment
    • /
    • 제31권2호
    • /
    • pp.89-95
    • /
    • 2008
  • Sensing the approach of a predator is critical to the survival of prey, especially when the prey has no choice but to escape at a precisely timed moment. Escape behavior has been approached from both proximate and ultimate perspectives. On the proximate level, empirical research about electrophysiological mechanisms for detecting predators has focused on vision, an important modality that helps prey to sense approaching danger. Studies of looming-sensitive neurons in locusts are a good example of how the selective sensitivity of nervous systems towards specific targets, especially approaching objects, has been understood and realistically modeled in software and robotic systems. On the ultimate level, general optimality models have provided an evolutionary framework by considering costs and benefits of visually elicited escape responses. A recent paper showed how neural network models can be used to understand the evolution of visually mediated antipredatory behaviors. We discuss this new trend towards integration of these relatively disparate approaches, the proximate and the ultimate perspectives, for understanding of the evolution of behavior of predators and prey. Focusing on one of the best-studied escape pathway models, the Orthopteran LGMD/DCMD pathway, we discuss how ultimate-level optimality modeling can be integrated with proximate-level studies of escape behaviors in animals.

OPRoS를 위한 3차원 물체 인식 컴포넌트 개발 (Development of a 3D Object Recognition Component for OPRoS)

  • 한창호;오춘석
    • 한국인터넷방송통신학회논문지
    • /
    • 제11권3호
    • /
    • pp.83-91
    • /
    • 2011
  • 본 논문에서 최근 다양한 로봇에 기존에 개발된 소프트웨어를 쉽게 적용하기 위한 플랫폼 개발에 기여하고 있는데, 국내에서 개발한 지능형로봇 개발을 위한 공통기반 플랫폼(OPRoS)에서 동작하는 3차원 물체 인식 컴포넌트 개발한 내용을 기술하였다. 컴포넌트 구성 내용과 3차원 공간 인식을 위해 사용한 기존 시각차 맵과 깊이 맵에 대한 알고리즘에 대한 언급을 했으며, 또한 시각차 맵을 만들기 위해 스테레오 매칭 방법과 블럭 매칭 방법을 표현했다. 기존 알고리즘으로 만들어진 컴포넌트는 OPRoS가 탑재된 컴퓨터에서 동작을 시켜 실험을 하였다.

ROS-based control for a robot manipulator with a demonstration of the ball-on-plate task

  • Khan, Khasim A.;Konda, Revanth R.;Ryu, Ji-Chul
    • Advances in robotics research
    • /
    • 제2권2호
    • /
    • pp.113-127
    • /
    • 2018
  • Robotics and automation are rapidly growing in the industries replacing human labor. The idea of robots replacing humans is positively influencing the business thereby increasing its scope of research. This paper discusses the development of an experimental platform controlled by a robotic arm through Robot Operating System (ROS). ROS is an open source platform over an existing operating system providing various types of robots with advanced capabilities from an operating system to low-level control. We aim in this work to control a 7-DOF manipulator arm (Robai Cyton Gamma 300) equipped with an external vision camera system through ROS and demonstrate the task of balancing a ball on a plate-type end effector. In order to perform feedback control of the balancing task, the ball is designed to be tracked using a camera (Sony PlayStation Eye) through a tracking algorithm written in C++ using OpenCV libraries. The joint actuators of the robot are servo motors (Dynamixel) and these motors are directly controlled through a low-level control algorithm. To simplify the control, the system is modeled such that the plate has two-axis linearized motion. The developed system along with the proposed approaches could be used for more complicated tasks requiring more number of joint control as well as for a testbed for students to learn ROS with control theories in robotics.

농업분야 무인항공기 영상 활용 동향: 리뷰 및 제안 (Application trend of unmanned aerial vehicle (UAV) image in agricultural sector: Review and proposal)

  • 박진기;;박종화
    • 농업과학연구
    • /
    • 제42권3호
    • /
    • pp.269-276
    • /
    • 2015
  • Unmanned Aerial Vehicle (UAV) has several advantages over conventional remote sensing techniques. They can acquire high-resolution images quickly and repeatedly. And with a comparatively lower flight altitude, they can obtain good quality images even in cloudy weather. In this paper, we discussed the state-of-the-art of the domestic and international use of UAV in agricultural sector as well as assessed its utilization and applicability for agricultural environment in Korea. Association of robotic, computer vision and geomatic technologies have established a new paradigm of low-altitude aerial remote sensing that has now been receiving attention from researchers all over the world. In a field study, it has been found that use of UAV imagery in an agricultural subsidy program can reduce the farmers' complain and provide objective evidence. UAV high resolution photography can also be helpful in monitoring the disposal zone for animal carcasses. Due to its expeditiousness and accuracy, UAV imagery can be a very useful tool to evaluate the damage in case of an agricultural disaster for both parties insurance companies and the farmers. Also high spatial and temporal resolution in UAV system can increase the prediction accuracy which in turn help to maintain the agricultural supply and demand chain.

Visual Sensing of the Light Spot of a Laser Pointer for Robotic Applications

  • Park, Sung-Ho;Kim, Dong Uk;Do, Yongtae
    • 센서학회지
    • /
    • 제27권4호
    • /
    • pp.216-220
    • /
    • 2018
  • In this paper, we present visual sensing techniques that can be used to teach a robot using a laser pointer. The light spot of an off-the-shelf laser pointer is detected and its movement is tracked on consecutive images of a camera. The three-dimensional position of the spot is calculated using stereo cameras. The light spot on the image is detected based on its color, brightness, and shape. The detection results in a binary image, and morphological processing steps are performed on the image to refine the detection. The movement of the laser spot is measured using two methods. The first is a simple method of specifying the region of interest (ROI) centered at the current location of the light spot and finding the spot within the ROI on the next image. It is assumed that the movement of the spot is not large on two consecutive images. The second method is using a Kalman filter, which has been widely employed in trajectory estimation problems. In our simulation study of various cases, Kalman filtering shows better results mostly. However, there is a problem of fitting the system model of the filter to the pattern of the spot movement.