CASE表达式的所有分支都必须具有相同的类型。鉴于错误消息是文本,您还应该将强制转换的十进制值作为文本包括在内,如下所示:
CASE
SELECT CASE WHEN TRY_PARSE(@VALUE AS DECIMAL) IS NULL THEN 'No Conversion' ELSE CONVERT(varchar(max), CONVERT(decimal(10,3), @VALUE, 0)) END