validates :member_id, :uniqueness => { :scope => [:member_type, :group_id,:group_type] }
При этом вы также можете сделать присутствие члена и группы как обязательными, так как значения nil приведут к дублированию и не подтвердят валидность уникальности
validates :member_type, :member_id, :presence => true
validates :group_type, :group_id, :presence => true