llama.app

• 仓库
• 支持http server部署
• 支持一键启动
• 丰富的启动参数
• 支持CPU和GPU运行

安装

• 下载（CUDA12.X）
  https://github.com/ggerganov/llama.cpp/releases/download/b2696/llama-b2696-bin-win-cuda-cu12.2.0-x64.zip

• HTTP server启动命令

  • CPU模式，127.0.0.1:8080

    1	server.exe -m models\7B\ggml-model.gguf -c 2048

  • GPU模式，127.0.0.1:8080

  1	server.exe -m models\7B\ggml-model.gguf -c 2048 -ngl 50

  • GPU模式，10.168.166.90:8080

    1	server.exe -m models\7B\ggml-model.gguf -c 2048 -ngl 50 --host 10.168.166.90

  • GPU模式，10.168.166.90:8777

1

server.exe -m models\7B\ggml-model.gguf -c 2048 -ngl 50 --host 10.168.166.90 --port 8777

• 常用参数
  • -ngl
-ngl后面需要加整数参数，表示多少层offload到GPU（比如-ngl 30表示把30层参数offload到GPU）。这个值需要自己试探，比如加到多少层不OOM。llama.cpp会有log，关注VRAM使用情况，例如：

    1 2	llama_model_load_internal: [cublas] offloading 30 layers to GPU llama_model_load_internal: [cublas] total VRAM used: 10047 MB

http url test

完整URL参数

GET

• /health: 返回服务器当前状态

POST

• /completion: 发送提示词prompt, 返回预测结果.

• 示例

  1 2 3 4

  curl --request POST \ --url http://localhost:8080/completion \ --header "Content-Type: application/json" \ --data '{"prompt": "Building a website can be done in 10 simple steps:","n_predict": 128}'

命名规则

采用驼峰法命名规则

deploy by git

配置 _config.yml的几个坑

1
2
3
4
5
6
7
8
9

# You can use this:
deploy:
  type: git
  repo: <repository url>
  branch: [branch]
  message: [message]
  name: [git user]
  email: [git email]

Hexo官网

Hexo文档

Hexo常见问题

GitHub仓库

开一个帖子：记录每天的工作状态

**2019-02-27**

• 计划1：尝试将小游戏从cocos creator导出，上传到Facebook提审

  问题：本地Facebook测试预览不成功

  

  结论：暂停尝试。

语义化版本 2.0.0

版本格式：主版本号.次版本号.修订号，版本号递增规则如下：

• 主版本号：当你做了不兼容的 API 修改，
• 次版本号：当你做了向下兼容的功能性新增，
• 修订号：当你做了向下兼容的问题修正。
  阅读全文 »

git pull 暴力覆盖本地文件

1
2
3

git fetch --all  
git reset --hard origin/master 
git pull

啦啦啦啦啦啦啦啦啦啦啦啦

S1. CMD下启动指定应用程序

命令：start application
示例：start notepad //启动记事本

这是一个从指定文本中抓取url并下载图片的例子

基本思路
读取本地文件，然后用正则过滤到想要的img的url,然后用requests.get从url中获取图片信息，最后将图片信息content写入文件，保存文件为图片格式。