How to serve Pororo Models

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
    def load(self, device: str):
        """
        Load user-selected task-specific model

        Args:
            device (str): device information

        Returns:
            object: User-selected task-specific model

        """
        if "brainbert" in self.config.n_model:
            try:
                import mecab
            except ModuleNotFoundError as error:
                raise error.__class__(
                    "Please install python-mecab-ko with: `pip install python-mecab-ko`"
                )
            from pororo.models.brainbert import BrainRobertaModel
            from pororo.utils import postprocess_span

            model = (BrainRobertaModel.load_model(
                f"bert/{self.config.n_model}",
                self.config.lang,
            ).eval().to(device))

            tagger = mecab.MeCab()

            return PororoBertMrc(model, tagger, postprocess_span, self.config)
 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
class BrainRobertaModel(RobertaModel):
    """
    Helper class to load pre-trained models easily. And when you call load_hub_model,
    you can use brainbert models as same as RobertaHubInterface of fairseq.
    Methods
    -------
    load_model(log_name: str): Load RobertaModel
    """

    @classmethod
    def load_model(cls, model_name: str, lang: str, **kwargs):
        """
        Load pre-trained model as RobertaHubInterface.
        :param model_name: model name from available_models
        :return: pre-trained model
        """
        from fairseq import hub_utils

        ckpt_dir = download_or_load(model_name, lang)
        tok_path = download_or_load(f"tokenizers/bpe32k.{lang}.zip", lang)

        x = hub_utils.from_pretrained(
            ckpt_dir,
            "model.pt",
            ckpt_dir,
            load_checkpoint_heads=True,
            **kwargs,
        )
        return BrainRobertaHubInterface(
            x["args"],
            x["task"],
            x["models"][0],
            tok_path,
        )
 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
class RobertaHubInterface(nn.Module):
    """A simple PyTorch Hub interface to RoBERTa.
    Usage: https://github.com/pytorch/fairseq/tree/master/examples/roberta
    """

    def __init__(self, cfg, task, model):
        super().__init__()
        self.cfg = cfg
        self.task = task
        self.model = model

        self.bpe = encoders.build_bpe(cfg.bpe)

        # this is useful for determining the device
        self.register_buffer("_float_tensor", torch.tensor([0], dtype=torch.float))
 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 
import requests

question = "조사된 사람은 몇명이야?"
context = """청와대는 대통령비서실·국가안보실 행정관급 이하 직원 및 직계 가족 3,714명과 경호처 직원
            및 직계가족 3,458명에 대한 토지 거래 내용을 자체 조사한 결과, 경호처 소속 A씨가 2017년
            9월 광명 지역 토지 413m²를 형수와 매입한 사실을 확인했다고 정만호 청와대 국민소통수석이
            전했다. A씨는 경호처 과장(4급)이다. 청와대는 사실을 확인한 지난 16일 곧바로 대기발령 조치했다.
            A씨는 청와대에 '부모님 부양 목적으로 가족과 공동 명의로 매입한 땅'이라는 취지로 해명했다.
            그러나 청와대 고위 관계자는 "(투기) 의심 사례"라며 "(소명 내용은) 제외한 채 거래 사실
            및 구입과 관련한 자료만 특수본에 넘기기로 했다"고 밝혔다. 이번 사례는 조사단 조사의 '맹점'을
            고스란히 보여준다. 조사단은 이날 발표를 포함해 LH, 국토교통부 직원 등 2만3,000여 명의
            토지 거래 현황을 전수조사했지만, '본인'으로만 대상을 한정했다. 이 때문에 이번처럼 배우자
            등 가족 명의 거래 내용은 파악할 수 없다. A씨 형은 3급 상당 직원으로 LH 측에 '가족이
            3기 신도시 내에서 토지 거래를 했다'고 자진 신고한 것으로 전해졌다. 비서실·안보실 직원 대상
            조사에서는 3기 신도시와 인근 지역에서의 부동산 거래 3건을 확인했으나, 투기로는 의심되지
            않는다는 게 청와대 측 설명이다."""

data = question + "|" + context

r = requests.post("http://localhost:8888/predictions/mrc", data=data.encode("utf-8"))

print("answer:", r.json())

>>> answer: ['3,458명', [37, 41]]