Я выяснил, что проблема была в моем файле test_helper:
begin
require File.dirname(__FILE__) + '/../../../../config/environment'
rescue LoadError
require 'rubygems'
gem 'activerecord'
gem 'actionpack'
require 'active_record'
end
Когда я установил явную версию для gem, все сработало нормально:
gem 'activerecord', "4.2.7.1"
gem 'actionpack', "4.2.7.1"