修改CppCheck，做自己的扫描器 - 02
填坑。
CppCheck在解析代码时，会将代码视作不同的Token。Token分类大致如下：
enum Type {
eVariable, eType, eFunction, eKeyword, eName,
eNumber, eString, eChar, eBoolean, eLiteral, eEnumerator,
eArithmeticalOp, eComparisonOp, eAssignmentOp, eLogicalOp, eBitOp, eIncDecOp, eExtendedOp,
eBracket,
eOther,
eNone
};
1、 名称类：变量名 , 类型名 , 函数名, 语言关键字, 其他无法识别的名字
2、 字面量：数字，字符串，字符，布尔值，用户定义的常量（c++11），枚举
3、 操作符：数学操作符，比较符号，赋值符号，逻辑符号，位运算，自增自减符号，扩展符号
4、 括号：{, }, <, >
5、 其他
这些token在保存时都是通过字符串的方式保存的，所以在比较的时候，也是通过字符串比较的形式，来确定是否和规则匹配。
先看一个典型的例子：
bool Token::Match(const Token *tok, const char pattern[], unsigned int varid)
以及它的调用者；
if (Token::Match(tok2, "strncpy|strncat ( %varid% ,", arrayInfo.declarationId())) {
tok2是一个Token对象
pattern为 strncpy|strncat （ %varid% 。
pattern中的 | 代表多重比较，即：multiCompare。从当前token开始依次比较，以空格为界限。也即第一次比较到strncat之后停止。
multiCompare的参数为%varid%（目标参数）。
multiCompare会一直比较，直到token耗尽或者传入的pattern到头，最后给出比较结果。
除了%varid%，multiCompare也支持许多比较，具体可以参考源代码：token.cpp -> multiComparePercent。
可以看到，在匹配、抽取值时，并不需要传入完整的token。
所以，对我们编写CppCheck规则时，了解Token的内容十分重要。
以一个实际的例子来看：
const MathLib::biguint total_size = arrayInfo.num(0) * arrayInfo.element_size();
if (printWarning && printInconclusive && Token::Match(tok2, "strncpy|memcpy|memmove ( %varid% , %str% , %num% )", arrayInfo.declarationId())) {
if (Token::getStrLength(tok2->tokAt(4)) >= total_size) {
const MathLib::biguint num = MathLib::toULongNumber(tok2->strAt(6));
if (total_size == num)
bufferNotZeroTerminatedError(tok2, tok2->strAt(2), tok2->str());
}
}
可以看到它：
1、 解析strncpy/memcpy/memmove并抽取varid（目标参数）、str（源字符串）、num（长度即操作数）。
2、 获取第5个token，即%str%处的token，获取它指向内容的长度。
3、 如果源操作数的长度大于等于缓冲区长度（由arrayInfo获取），代表可能潜在有问题。
4、 获取第7个token，即%num%处的token，获取它的值。
5、 如果缓冲区总大小等于长度，则报告缓冲区非零结尾的错误。
测试一下，给定测试用例：
int main()
{
char a[10];
memcpy(a, "abcdefghij", 10);
return 0;
}
打开这三个提示信息以方便我们调试。为了方便我就不改全局的了，只在函数里面直接硬编码修改为true。
const bool printPortability = true; //mSettings->isEnabled(Settings::PORTABILITY);
const bool printWarning = true; //mSettings->isEnabled(Settings::WARNING);
const bool printInconclusive = true; // mSettings->inconclusive;
代码在我们指定的位置停下，调用栈如下：
cppcheck-core.dll!CheckBufferOverrun::checkScope_inner(const Token * tok, const CheckBufferOverrun::ArrayInfo & arrayInfo) 行 1005 C++
> cppcheck-core.dll!CheckBufferOverrun::checkScope(const Token * tok, std::map<unsigned int,CheckBufferOverrun::ArrayInfo,std::less<unsigned int>,std::allocator<std::pair<unsigned int const ,CheckBufferOverrun::ArrayInfo> > > arrayInfos) 行 939 C++
cppcheck-core.dll!CheckBufferOverrun::checkGlobalAndLocalVariable() 行 1242 C++
cppcheck-core.dll!CheckBufferOverrun::runSimplifiedChecks(const Tokenizer * tokenizer, const Settings * settings, ErrorLogger * errorLogger) 行 79 C++
cppcheck-core.dll!CppCheck::checkSimplifiedTokens(const Tokenizer & tokenizer) 行 593 C++
cppcheck-core.dll!CppCheck::checkFile(const std::basic_string<char,std::char_traits<char>,std::allocator<char> > & filename, const std::basic_string<char,std::char_traits<char>,std::allocator<char> > & cfgname, std::basic_istream<char,std::char_traits<char> > & fileStream) 行 430 C++
cppcheck-core.dll!CppCheck::check(const std::basic_string<char,std::char_traits<char>,std::allocator<char> > & path) 行 83 C++
可以发现：
1） arrayInfo，为我们定义的char a[10]
- arrayInfo {mNum={ size=1 } mVarName="a" mElementSize=1 ...} const CheckBufferOverrun::ArrayInfo &
- mNum { size=1 } std::vector<__int64,std::allocator<__int64> >
[capacity] 1 int
+ [allocator] allocator std::_Compressed_pair<std::allocator<__int64>,std::_Vector_val<std::_Simple_types<__int64> >,1>
[0] 10 __int64
+ [原始视图] {...} std::vector<__int64,std::allocator<__int64> >
+ mVarName "a" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
mElementSize 1 __int64
mDeclarationId 1 unsigned int
2） token的层级列表（向后）：
- tok 0x02bfed58 "memcpy" const Token *
+ mTokensFrontBack 0x00afed90 "int" - "}" TokensFrontBack *
+ mStr "memcpy" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
- mNext 0x02bfedf0 "(" Token *
+ mTokensFrontBack 0x00afed90 "int" - "}" TokensFrontBack *
+ mStr "(" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
- mNext 0x02bfee88 "a" Token *
+ mTokensFrontBack 0x00afed90 "int" - "}" TokensFrontBack *
+ mStr "a" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
- mNext 0x02e677e8 "," Token *
+ mTokensFrontBack 0x00afed90 "int" - "}" TokensFrontBack *
+ mStr "," std::basic_string<char,std::char_traits<char>,std::allocator<char> >
- mNext 0x02e679b0 "\"abcdefghij\"" Token *
3）token向前，可以看到这东西基本就是一个双向链表：
- mPrevious 0x02bfe838 ";" Token *
+ mTokensFrontBack 0x00afed90 "int" - "}" TokensFrontBack *
+ mStr ";" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
+ mNext 0x02bfed58 "memcpy" Token *
- mPrevious 0x02bfe7a0 "]" Token *
+ mTokensFrontBack 0x00afed90 "int" - "}" TokensFrontBack *
+ mStr "]" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
+ mNext 0x02bfe838 ";" Token *
- mPrevious 0x02bfe708 "10" Token *
所以，如果我们不想仅仅依靠正则式写那些简单的规则，就需要自己抽象出一个常见的模式，并根据模式和token来编写规则。token会逐个遍历，所以不用担心跑不到你想要找的函数那里（参考CheckBufferOverrun::checkScope）。
最后需要注意的是CppCheck是按类型来扫描，而不是按代码顺序扫描，所以由于声明全局变量顺序的问题，很有可能你会发现某个靠后的代码先行被提示问题，这都是正常的结果。