На камне ничего не растет в принципе, потому что не может укорениться, а потому легко вырывается при первом же ветре. Это аллегория, передающая идею сложности противостоять чему-то, не имея корня.