农村小额贷款公司以向税务申请代开专票。按国税总局关于全面实施营改增文件规定，贷款服务不能抵扣进项税额，所以即使提供贷款服务的银行是增值税一般纳税人也只能开具增值税普票。没有申请代开专票的必要，直接开具增值税普通发票就好了。