@lskjs/proxy/lib/strategies/LinearProxyStrategy.js

"use strict";

var _interopRequireDefault = require("@babel/runtime/helpers/interopRequireDefault");
Object.defineProperty(exports, "__esModule", {
  value: true
});
exports["default"] = exports.LinearProxyStrategy = void 0;
var _regenerator = _interopRequireDefault(require("@babel/runtime/regenerator"));
var _asyncToGenerator2 = _interopRequireDefault(require("@babel/runtime/helpers/asyncToGenerator"));
var _classCallCheck2 = _interopRequireDefault(require("@babel/runtime/helpers/classCallCheck"));
var _createClass2 = _interopRequireDefault(require("@babel/runtime/helpers/createClass"));
var _get2 = _interopRequireDefault(require("@babel/runtime/helpers/get"));
var _inherits2 = _interopRequireDefault(require("@babel/runtime/helpers/inherits"));
var _possibleConstructorReturn2 = _interopRequireDefault(require("@babel/runtime/helpers/possibleConstructorReturn"));
var _getPrototypeOf2 = _interopRequireDefault(require("@babel/runtime/helpers/getPrototypeOf"));
var _err = _interopRequireDefault(require("@lskjs/err"));
var _get3 = _interopRequireDefault(require("lodash/get"));
var _shuffle = _interopRequireDefault(require("lodash/shuffle"));
var _sortBy = _interopRequireDefault(require("lodash/sortBy"));
var _sumBy = _interopRequireDefault(require("lodash/sumBy"));
var _ProxyStrategy2 = require("./ProxyStrategy");
function _createSuper(Derived) { var hasNativeReflectConstruct = _isNativeReflectConstruct(); return function _createSuperInternal() { var Super = (0, _getPrototypeOf2["default"])(Derived), result; if (hasNativeReflectConstruct) { var NewTarget = (0, _getPrototypeOf2["default"])(this).constructor; result = Reflect.construct(Super, arguments, NewTarget); } else { result = Super.apply(this, arguments); } return (0, _possibleConstructorReturn2["default"])(this, result); }; }
function _isNativeReflectConstruct() { if (typeof Reflect === "undefined" || !Reflect.construct) return false; if (Reflect.construct.sham) return false; if (typeof Proxy === "function") return true; try { Boolean.prototype.valueOf.call(Reflect.construct(Boolean, [], function () {})); return true; } catch (e) { return false; } } /* eslint-disable no-param-reassign */
// import request from './request';
var LinearProxyStrategy = /*#__PURE__*/function (_ProxyStrategy) {
  (0, _inherits2["default"])(LinearProxyStrategy, _ProxyStrategy);
  var _super = _createSuper(LinearProxyStrategy);
  function LinearProxyStrategy() {
    var _this;
    (0, _classCallCheck2["default"])(this, LinearProxyStrategy);
    for (var _len = arguments.length, args = new Array(_len), _key = 0; _key < _len; _key++) {
      args[_key] = arguments[_key];
    }
    _this = _super.call.apply(_super, [this].concat(args));
    _this.strategy = 'linear';
    _this.maxPrimaryProxiesCount = 10;
    _this.primaryProxiesProbablity = 0.95;
    _this.primaryProxies = [];
    _this.primaryProxiesCount = 0;
    _this.secondaryProxies = [];
    _this.secondaryProxyIteration = 0;
    _this.kpdSum = 0;
    return _this;
  } // consts
  // 10 проксей парсят
  // на них выделяется 95% попыток парсинга
  // на остальные прокси выделяется 5% попыток, потому что, вдруг они там за это время починились
  // vars
  (0, _createClass2["default"])(LinearProxyStrategy, [{
    key: "getStats",
    value:
    //
    function getStats() {
      this.update();
      return {
        primaryProxiesCount: this.primaryProxiesCount,
        secondaryProxyIteration: this.secondaryProxyIteration,
        kpdSum: this.kpdSum
      };
    }
  }, {
    key: "update",
    value: function update() {
      var _this2 = this;
      var proxies = (0, _get3["default"])(this, 'manager.cache.list');
      if (!proxies) return;
      proxies.forEach(function (proxy) {
        proxy.stats.kpd = _this2.countKpd(proxy);
        proxy.stats.probability = 0;
      });
      var sortedProxies = (0, _sortBy["default"])(proxies, function (p) {
        return -(0, _get3["default"])(p, 'stats.kpd');
      });
      var isWorkingProxy = function isWorkingProxy(p) {
        return (0, _get3["default"])(p, 'stats.kpd', 0) > 0 && (0, _get3["default"])(p, 'stats.count', 0) > 0;
      };

      // количество реальных прокси
      this.primaryProxies = sortedProxies.filter(isWorkingProxy).slice(0, this.maxPrimaryProxiesCount);
      this.primaryProxiesCount = this.primaryProxies.length;
      this.secondaryProxies = (0, _shuffle["default"])(sortedProxies.slice(this.primaryProxiesCount));

      // тот КПД который будет разыгрываться между основными проксями
      this.kpdSum = (0, _sumBy["default"])(this.primaryProxies, function (p) {
        return (0, _get3["default"])(p, 'stats.kpd');
      });
      if (this.kpdSum < 1) this.kpdSum = 0; // если суммарного кпд еще мало, то считаем что его нет (ну мелочь всякая пока, не попарсили)

      this.primaryProxies.forEach(function (proxy) {
        if (_this2.kpdSum) {
          // если есть суммарный кпд то разыгрываеи его
          proxy.probability = (0, _get3["default"])(proxy, 'stats.kpd') / _this2.kpdSum * _this2.primaryProxiesProbablity; // TODO, как гипотезу можно рассмотреть какую нибудь не линейную функцию
        } else {
          // если его нет, то распределяем вероятность между проксями линейно
          proxy.probability = 1 / _this2.primaryProxiesCount * _this2.primaryProxiesProbablity;
        }
      });
    }
  }, {
    key: "getProxy",
    value: function getProxy() {
      var list = (0, _get3["default"])(this, 'manager.cache.list');
      if (!(list !== null && list !== void 0 && list.length)) throw new _err["default"]('PROXY_MANAGER_LIST_EMPTY');
      var initProbability = Math.random();
      var sumProbability = 0;
      for (var i = 0; i < this.primaryProxies.length; i += 1) {
        sumProbability += +(0, _get3["default"])(this.primaryProxies, "".concat(i, ".stats.probability")) || 0;
        if (initProbability < sumProbability) return this.primaryProxies[i];
      }
      this.secondaryProxyIteration += 1;
      return this.secondaryProxies[this.secondaryProxyIteration % this.secondaryProxies.length];
    }

    // эстимация количества спаршенных видео в минуту
  }, {
    key: "countKpd",
    value: function countKpd(proxy) {
      var success = (0, _get3["default"])(proxy, 'stats.statuses.success', 0);
      var fatal = (0, _get3["default"])(proxy, 'stats.fatal', 0);
      if (fatal) return -1;
      var error = (0, _get3["default"])(proxy, 'stats.statuses.error', 0);
      var count = (0, _get3["default"])(proxy, 'count', 0);
      if (!count) return 0; // 1 - один по умолчанию потому что они должны быть в списке круче чем сломанные прокси у которых 0
      var avgTime = count ? (0, _get3["default"])(proxy, 'time', 0) / (0, _get3["default"])(proxy, 'count', 1) : 0;
      var errorTime = error ? (0, _get3["default"])(proxy, 'statusesTime.error', 0) / error : 0;
      return 60000 / (avgTime + error / success * errorTime);
    }
  }, {
    key: "run",
    value: function () {
      var _run = (0, _asyncToGenerator2["default"])( /*#__PURE__*/_regenerator["default"].mark(function _callee() {
        return _regenerator["default"].wrap(function _callee$(_context) {
          while (1) switch (_context.prev = _context.next) {
            case 0:
              _context.next = 2;
              return (0, _get2["default"])((0, _getPrototypeOf2["default"])(LinearProxyStrategy.prototype), "run", this).call(this);
            case 2:
              _context.next = 4;
              return this.update();
            case 4:
            case "end":
              return _context.stop();
          }
        }, _callee, this);
      }));
      function run() {
        return _run.apply(this, arguments);
      }
      return run;
    }()
  }]);
  return LinearProxyStrategy;
}(_ProxyStrategy2.ProxyStrategy);
exports.LinearProxyStrategy = LinearProxyStrategy;
var _default = LinearProxyStrategy;
exports["default"] = _default;
//# sourceMappingURL=LinearProxyStrategy.js.map