The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지
DOI QR코드

DOI QR Code

Introduction and Performance Analysis of Approximate Message Passing (AMP) for Compressed Sensing Signal Recovery

압축 센싱 신호 복구를 위한 AMP(Approximate Message Passing) 알고리즘 소개 및 성능 분석

  • 백형호 (광주과학기술원 정보통신공학부 INFONET 연구실) ;
  • 강재욱 (광주과학기술원 정보통신공학부 CSNL 연구실) ;
  • 김기선 (광주과학기술원 정보통신공학부 CSNL 연구실) ;
  • 이흥노 (광주과학기술원 정보통신공학부 INFONET 연구실)
  • Received : 2013.08.31
  • Accepted : 2013.11.05
  • Published : 2013.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

We introduce Approximate Message Passing (AMP) algorithm which is one of the efficient recovery algorithms in Compressive Sensing (CS) area. Recently, AMP algorithm has gained a lot of attention due to its good performance and yet simple structure. This paper provides not only a understanding of the AMP algorithm but its relationship with a classical (Sum-Product) Message Passing (MP) algorithm. Numerical experiments show that the AMP algorithm outperforms the classical MP algorithms in terms of time and phase transition.

CS(Compressed Sensing)는 오늘날 신호 처리 영역에서 많은 주목을 받고 있는 이론 중의 하나이다. 이 CS 분야에서 효과적인 복구 알고리즘을 설계하는 것은 가장 큰 도전적 연구 중의 하나로 인식되고 있다. 이에 따라 다양한 복구 알고리즘이 많은 문헌을 통해서 제안 되었으며 최근에 Maleki와 Donoho에 의해 제안된 AMP(Approximation Message Passing) 알고리즘은 기존에 제시된 알고리즘에 비해 간단한 구조를 가지고 있지만 좋은 성능을 보여줌으로써 상당한 주목을 받고 있다. 기존의 (BP) Belief Propagation 알고리즘은 오직 희소(Sparse) 센싱 행렬에서만 좋은 성능을 보여 준 것에 반해, AMP 알고리즘은 밀집(Dense) 센싱 행렬에 기초를 둔 Belief Propagation 알고리즘임에도 불구하고 이와 비슷한 성능을 보여준다. 본 논문은 다양한 영역에서 AMP 알고리즘이 적용되기 위하여 이에 대한 지침 및 기존의 고전적 Message Passing 알고리즘과의 관계에 대해 분석하였다. 또한 기존의 알고리즘과의 비교 분석을 통해 AMP 알고리즘의 우수성을 제시하였다.

Keywords

References

  1. D. L. Donoho, "Compressed sensing," IEEE Trans. Inf. Theory, vol. 52, no. 4, pp. 1289-1306, Sep. 2006. https://doi.org/10.1109/TIT.2006.871582
  2. E. Candes and M. Wakin, "An introduction to compressive sampling," IEEE Signal Process. Mag., vol. 25, no. 2, pp. 21-30, Mar. 2008. https://doi.org/10.1109/MSP.2007.914731
  3. J. A. Tropp, "Just relax: convex programming methods for identifying sparse signals in noise," IEEE Trans. Inf. Theory, vol. 52, no. 3. pp. 1030-1051, Mar. 2006.
  4. D. L. Donoho, Y. Tsaig, I. Drori, and J. L. Starck, "Sparse solution of underdetermined systems of linear equations by stagewise orthogonal matching pursuit," IEEE Trans. Inf. Theory, vol. 58, no. 2, pp. 1094-1121, Feb. 2012. https://doi.org/10.1109/TIT.2011.2173241
  5. F. R. Kschischang, B. J. Frey, and H. A. Loeliger, "Factor graphs and the sum-product algorithm," IEEE Trans. Inf. Theory, vol. 47, no. 2, pp. 498-519, Feb. 2001. https://doi.org/10.1109/18.910572
  6. H. H. Baek, S. J. Park, J. M. Ryu, and H. N. Lee, "Reanalysis of Approximate Message Passing (AMP) for compressed sensing signal recovery," in Proc. KICS Int. Conf. Commun. 2013 (KICS ICC 2013), pp. 701-702, Jeju Island, Korea, June 2013.
  7. J. Kang, H.-N. Lee, and K. Kim, "Bayesian hypothesis test using nonparametrix belief propagation for noisy sparse recovery," IEEE Trans. Signal Process., Submitted.
  8. M. Akcakaya, J. Park, and V. Tarokh, "A coding theory approach to noisy compressive sensing using low density frame," IEEE Trans. Signal Process., vol. 59, no. 12, pp. 5369-5379, Nov. 2011. https://doi.org/10.1109/TSP.2011.2163402
  9. R. Tibshirani, "Regression shrinkage and selection via the lasso," J. Royal Statistical Soc.: Series B, vol. 58, no. 1, pp. 267-288, 1996.
  10. J. A. Tropp and A. C. Gilbert, "Signal recovery from random measurements via orthogonal matching pursuit," IEEE Trans. Inf. Theory, vol. 53, no. 12, pp. 4655-4666, Dec. 2007. https://doi.org/10.1109/TIT.2007.909108
  11. D. L. Donoho, A. Maleki, and A. Montanari, "Message passing algorithms for compressed sensing: I. motivation and construction," in Proc. IEEE Inform. Theory Workshop(ITW 2010), pp. 1-5, Cairo, Egypt, Jan. 2010.
  12. M. Bayati and A. Montanari, "The dynamics of message passing on dense graphs, with applications to compressed sensing," IEEE Trans. Inf. Theory, vol. 57, no. 2, pp. 764-785, Feb. 2011. https://doi.org/10.1109/TIT.2010.2094817
  13. D. L. Donoho, A. Maleki, and A. Montanari, "Message passing algorithms for compressed sensing," Proc. National Academy Sci., vol. 106, no. 45, pp. 18914-18915, Sep. 2009. https://doi.org/10.1073/pnas.0909892106
  14. A. Maleki and D. L. Donoho, "Optimally tuned iterative reconstruction algorithms for compressed sensing," IEEE J. Sel. Topics Signal Process., vol. 4, no. 2, pp. 330-341, Apr. 2010. https://doi.org/10.1109/JSTSP.2009.2039176
  15. D. L. Donoho, A. Maleki, and A. Montanari, "The noise-sensitivity phase transition in compressed sensing," IEEE Trans. Inf. Theory, vol. 57, no. 10, pp. 6920-6941, Oct. 2011. https://doi.org/10.1109/TIT.2011.2165823
  16. A. Maleki and D. L. Donoho, "Optimally tuned iterative Reconstruction Algorithms for compressed sensing," IEEE J. Sel. Topics Signal Process., vol. 4, no. 2, pp. 330-341, Apr. 2010. https://doi.org/10.1109/JSTSP.2009.2039176