huggingface/CodeBERTa-language-id

CODEBERTA_LANGUAGE_ID = "huggingface/CodeBERTa-language-id"

tokenizer = RobertaTokenizer.from_pretrained(CODEBERTA_LANGUAGE_ID)
model = RobertaForSequenceClassification.from_pretrained(CODEBERTA_LANGUAGE_ID)

input_ids = tokenizer.encode(CODE_TO_IDENTIFY)
logits = model(input_ids)[0]

language_idx = logits.argmax() # índice para la etiqueta resultante

de transformers import TextClassificationPipeline

pipeline = TextClassificationPipeline(
model=RobertaForSequenceClassification.from_pretrained(CODEBERTA_LANGUAGE_ID),
tokenizer=RobertaTokenizer.from_pretrained(CODEBERTA_LANGUAGE_ID)
)
pipeline(CODE_TO_IDENTIFY)

# Comenzando con algo muy fácil:
pipeline("""
def f(x):
    return x**2
""")
# [{'label': 'python', 'score': 0.9999965}]

# Ahora probemos muestras de código más cortas:
pipeline("const foo = 'bar'")
# [{'label': 'javascript', 'score': 0.9977546}]

# ¿Qué pasa si removemos el token const de la asignación?
pipeline("foo = 'bar'")
# [{'label': 'javascript', 'score': 0.7176245}]

# Por alguna razón, esto sigue siendo estadísticamente detectado como código JS, aunque también es un código Python válido. Sin embargo, si lo ajustamos un poco:
pipeline("foo = u'bar'")
# [{'label': 'python', 'score': 0.7638422}]

# Ahora es detectado como Python (Nota el modificador de cadena u).
# Probemos con lenguajes más elegantes:
pipeline("echo $FOO")
# [{'label': 'php', 'score': 0.9995257}]

# (Sí, usé la palabra "elegante" para describir PHP 😅)
pipeline("outcome := rand.Intn(6) + 1")
# [{'label': 'go', 'score': 0.9936151}]

# ¿Por qué el problema de identificación de lenguajes es tan fácil (con las herramientas correctas)? Porque la sintaxis del código es rígida, y tokens simples como := (el operador de asignación en Go) son predictores perfectos del lenguaje subyacente:
pipeline(":=")
# [{'label': 'go', 'score': 0.9998052}]

# Por cierto, porque entrenamos nuestro propio tokenizer en el conjunto de datos CodeSearchNet, y maneja flujos de bytes de una manera muy genérica, las construcciones sintácticas como := están representadas por un solo token:
self.tokenizer.encode(" :=", add_special_tokens=False)
# [521]