如何确定将颜色与matlab中的热图中的值相关联？

我有一个整数矩阵M(1,2或3).我想用热图表示它并将固定颜色与1,2和3相关联.我使用这段代码:

map = [1, 1, 0;  % color for 1 (yellow)
       1, 0.5, 0 ; % color for 2 (orange)
       0, 1, 0.5]; % color for 3 (green)

HeatMap(M,'Colormap',map,'Symmetric','false'); 

当M包含至少一个1,一个2和一个3时,没有任何问题.但是当M仅包含3个时,热图不是我想要的(全绿色).我怎么解决这个问题？