DOI QR코드

DOI QR Code

Asymmetric data storage management scheme to ensure the safety of big data in multi-cloud environments based on deep learning

딥러닝 기반의 다중 클라우드 환경에서 빅 데이터의 안전성을 보장하기 위한 비대칭 데이터 저장 관리 기법

  • Jeong, Yoon-Su (Dept. of Information Communication & Engineering, Mokwon University)
  • 정윤수 (목원대학교 정보통신융합공학부)
  • Received : 2021.01.25
  • Accepted : 2021.03.20
  • Published : 2021.03.28

Abstract

Information from various heterogeneous devices is steadily increasing in distributed cloud environments. This is because high-speed network speeds and high-capacity multimedia data are being used. However, research is still underway on how to minimize information errors in big data sent and received by heterogeneous devices. In this paper, we propose a deep learning-based asymmetric storage management technique for minimizing bandwidth and data errors in networks generated by information sent and received in cloud environments. The proposed technique applies deep learning techniques to optimize the load balance after asymmetric hash of the big data information generated by each device. The proposed technique is characterized by allowing errors in big data collected from each device, while also ensuring the connectivity of big data by grouping big data into groups of clusters of dogs. In particular, the proposed technique minimizes information errors when storing and managing big data asymmetrically because it used a loss function that extracted similar values between big data as seeds.

분산 클라우드 환경에서는 다양한 이기종 장치의 정보들이 꾸준하게 증가하고 있다. 이 같은 이유는 고속의 네트워크의 속도와 대용량의 멀티미디어 데이터가 사용되고 있기 때문이다. 그러나, 이기종의 장치에서 송·수신되는 빅데이터의 정보 오류를 최소화하기 위한 방법은 여전히 연구가 진행되고 있다. 본 논문에서는 클라우드 환경에서 송·수신되는 정보들에 의해 발생되는 네트워크의 대역폭과 데이터 오류 최소화를 위한 딥러닝 기반의 비대칭적 저장 관리기법을 제안한다. 제안 기법은 각각의 디바이스에서 생성되는 빅 데이터정보를 비대칭적으로 해시 처리한 후 로드 밸런스를 최적화하기 위해서 딥러닝 기술을 적용하고 있다. 제안 기법은 각 디바이스에서 수집된 빅 데이터의 오류를 허용하는 동시에 빅 데이터의 연계 정보를 n개의 클러스터 그룹으로 그룹핑함으로써 빅 데이터의 연결성을 확보한 것이 특징이다. 특히, 제안 기법은 빅 데이터간의 유사 값을 시드로 추출한 손실 함수를 사용하였기 때문에 비대칭적으로 빅 데이터를 저장 관리 할때의 정보 오류를 최소화하였다.

Keywords

References

  1. S. Y. Wang, H. J. Lai, and Y. F. Yang, and J. Yin, "Deep Policy Hashing Network with Listwise Supervision," in Proceedings of the 2019 on International Conference on Multimedia Retrieval (ICMR-19), ACM, 2019, pp. 123-131.
  2. S. Jin, H. X. Yao, and X. S. Sun, S. C. Zhou, L. Zhang, and X. S. Hua, "Deep saliency hashing," arXiv preprint arXiv:1807.01459 (2018).
  3. J. X. Li, B. Zhang, G. M. Lu, and D. Zhang, "Dual Asymmetric Deep Hashing Learning," IEEE Access, vol.7, pp. 113372-113384. 2019 https://doi.org/10.1109/access.2019.2927524
  4. P. H. Li, J. T. Xie, Q. L. Wang, and W. M. Zuo, "Is Second-Order Information Helpful for Large-Scale Visual Recognition?" in 2017 IEEE International Conference on Computer Vision (ICCV-17), IEEE, 2017, pp. 2089-2097.
  5. M. Zhou, X. H. Zeng, and A. Z. Chen, "Deep Forest Hashing for Image Retrieval," Pattern Recognition, 2019.
  6. A. Gionis, P. Indyk, and R. Motwani, "Similarity search in high dimensions via hashing," VLDB, vol. 99, no. 6, pp. 518-529, 1999.
  7. S. Kumar and R. Udupa, "Learning hash functions for cross-view similarity search," in Proc. 32nd Int. Joint Conf. Artif. Intell., Jun. 2011, pp. 1360-1365.
  8. X. Zhu, Z. Huang, H. T. Shen, and X. Zhao, "Linear cross-modal hashing for efficient multimedia search," in Proc. 21st ACM Int. Conf. Multimedia (MM), 2013, pp. 143-152.
  9. M. M. Bronstein, A. M. Bronstein, F. Michel, and N. Paragios, "Data fusion through cross-modality metric learning using similarity-sensitive hashing," in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., San Francisco, CA, USA, Jun. 2010, pp. 3594-3601.
  10. G. Ding, Y. Guo, and J. Zhou, "Collective matrix factorization hashing for multimodal data," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 2075-2082.
  11. D. Hu, F. Nie, and X. Li, "'Deep binary reconstruction for cross-modal hashing," IEEE Trans. Multimedia, vol. 21, no. 4, pp. 973-985, Apr. 2019. https://doi.org/10.1109/tmm.2018.2866771
  12. G. Wu, Z. Lin, J. Han, L. Liu, G. Ding, B. Zhang, and J. Shen, "'Unsupervised deep hashing via binary latent factor models for large-scale crossmodal retrieval," in Proc. Twenty-Seventh Int. Joint Conf. Artif. Intell., Jul. 2018, pp. 2854-2860
  13. D. Wang, P. Cui, M. Ou, and W. Zhu, "Deep multimodal hashing with orthogonal regularization," in Proc. Int. Joint Conf. Artif. Intell., 2015, pp. 2291-2297.
  14. Q.-Y. Jiang and W.-J. Li, "'Asymmetric deep supervised hashing,"' in Proc. AAAI, 2017, pp. 3342-3349.
  15. J. Li, B. Zhang, G. Lu, and D. Zhang, "'Dual asymmetric deep hashing learning,"' IEEE Access, vol. 7, pp. 113372-113384, 2019. https://doi.org/10.1109/access.2019.2927524
  16. A. Vedaldi and K. Lenc, "'MatConvNet: Convolutional neural networks for MATLAB,"' in Proc. 23rd ACM Int. Conf. Multimedia (MM), 2015, pp. 689-692.